基于centos的hadoop运行环境搭建

1. 独立模式安装
   (1)环境：hadoop 2.7.3版本、8G固态硬盘、CentOS6.5或6.8
   (2)安装centos
   (3)更改网络模式为Net模式

• 打开windws网络适配器，打开VMnet8属性面板。打开协议版本4
  
  -勾选使用下面ip地址（目的固定ip地址，阻止电脑自动分配） 更改ip地址的第三四个字段例如：192.168.173.1
  连续点击确定。（可更改可不更改，最重要的是虚拟机和windows的ip字段一致）
• 虚拟机配置自动连接网卡文件（需要root权限才能更改：su root）
  （1）打开文件：
  [root@master Desktop]# gedit /etc/sysconfig/network-scripts/ifcfg-eth0
  DEVICE=eth0
  HWADDR=00:0c:29:e0:e7:81
  TYPE=Ethernet
  UUID=72099bec-bc18-4c7c-b7eb-e397a0f4ead4
  ONBOOT=yes #是否随网桥启动eth0生效
  NM_CONTROLLED=yes
  BOOTPROTO=static #配置IP地址是否随机分配
  IPADDR=192.168.172.130 #虚拟机ip地址
  NETMASK=255.255.255.0 #子网掩码
  GATEWAY=192.168.179.2 #网关ip
  DNS1=192.168.179.2 #网关ip

注意！！！
BOOTPROTO=static表示使用固定的ip地址（强烈建议使用这个，这样会减少很多由于ip地址不匹配出现的问题）
BOOTPROTO=dhcp表示电脑随机分配ip地址
网关ip的配置如下：

1. 打开虚拟机的虚拟网络编辑器
   

2. 选中net模式
   

3. 点击NAT设置
   

4. 拿到网关ip

注意！！！子网ip可能跟我们在windows上设置的不一样，需要手动更改

将子网ip设置为与windows上VMnet8的ip地址同一个字段的例如：192.168.172.0，最后一个字段要与子网掩码相同。否则报错！！！
测试：ping www.baidu.com
ctrl c终止。
（4）安装增强
虚拟机 vmvawre Tools安装（用root权限安装，解压)

a. 将它复制到桌面，解压 tar -zxvf VM…gz
b. cd vmware-tools-distrib/
c. ./vmware-install.pl (安装***需要root用户安装)

（5）关闭防火墙

• 查看防火墙
  [crx@master Desktop]$ chkconfig iptables --list
  iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off
• 关闭防火墙
  chkconfig iptables off
• 重启reboot 或shutdown -r now

(6) 窗口自适应：查看 —>自动调整大小—>自动适应客户机
关闭虚拟机—>右键【设置】—>选项—>客户机隔离—>全部勾选（默认也是勾选）
(7)配置sudo命令（将root的部分权限赋予普通用户）

• 切换用户为root：su root(注意尽量不使用su - root因为su - root会将环境也切换到root下导致有些操作失败。如果你分得清那些需要用到root的环境，哪些需要普通用户的环境就另当别论了。)
• 修改sudoers文件：vim /etc/sudoers
• 找到权限root ALL=(ALL) ALL
• 配置why ALL=(ALL) ALL(尽量在root权限的下面配置。why为自己的用户名)
• :wq!保存退出
• 测试是否有root权限：若没有则会报下面的错误：violet is not in the sudoers file. Thtis incident will be reported

(8)利用虚拟机共享文件夹。通过挂载盘的方式上传文件

• 启用共享文件夹：虚拟机—>设置—> 选项—>共享文件夹—>右边 总是启用，添加工具
  
• 找到挂载盘的位置
  cd /mnt/按table 一直补全
• ll查看
• 在~/下创建文件夹soft，将挂在盘jdk拷到指定路径下：[crx@crx 工具]$ cp jdk-8u172-linux-x64.tar.gz ~/soft/

(9)安装jdk

• 查看linux自带的jdk版本
  [crx@crx soft]$ java -version
  java version “1.7.0_99”
  OpenJDK Runtime Environment (rhel-2.6.5.1.el6-x86_64 u99-b00)
  OpenJDK 64-Bit Server VM (build 24.95-b01, mixed mode)
  [crx@crx Desktop]$ rpm -qa|grep java
  tzdata-java-2016c-1.el6.noarch
  java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64
  java-1.6.0-openjdk-1.6.0.38-1.13.10.4.el6.x86_64

• 删除依赖【root权限】
  [root@crx Desktop]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64
  [root@crx Desktop]# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.38-1.13.10.4.el6.x86_64
  或:
  $>sudo rpm -e --nodeps java-1.6.0-openjdk-1.6.0.38-1.13.10.4.el6.x86_64

• 1在家目录下创建soft目录
  [crx@crx soft]$
  2 解压jdk8
  [crx@crx soft]$ tar -zxvf jdk-8u172-linux-x64.tar.gz
  3.删除压缩包
  [crx@crx soft]$ rm jdk-8u172-linux-x64.tar.gz
  4.创建软连接
  [crx@crx soft]$ ln -s jdk1.8.0_172/ jdk
  5 配置IP域名
  [crx@crx Desktop]$ sudo vim /etc/hosts
  192.168.179.130 master
  6.修改hostname名
  [crx@crx Desktop]$ cat /etc/sysconfig/network
  NETWORKING=yes
  HOSTNAME=master
  7在java中配置环境变量，有用户下的和系统下的，我们配置用户下的
  【系统下的: /etc/profile】
  【用户下的: ~/.bash_profile】
  [crx@crx Desktop]$ vim /home/crx/.bash_profile
  #PATH=$PATH:$HOME/bin
  #export PATH
  export JAVA_HOME=/home/crx/soft/jdk
  export PATH=$JAV{A}_{H}OME/bin:$PATH
  8.source编译(仅在当前页面有用)
  [crx@crx Desktop]$ source /home/crx/.bash_profile
  9.查看jdk版本
  [crx@master soft]$ java -version
  java version “1.8.0_172”
  Java™ SE Runtime Environment (build 1.8.0_172-b11)
  Java HotSpot™ 64-Bit Server VM (build 25.172-b11, mixed mode)

(10)hadoop安装搭建及测试

• 1.将hadoop安装包拷贝到~/soft目录下
  cp /mnt/hgfs/工具/hadoop-2.7.3.tar.gz ~/soft/
  2.tar -zxvf hadoop-2.7.3.tar.gz
  3.rm hadoop-2.7.3.tar.gz
  4.ln -s hadoop-2.7.3 hadoop
  5.配置环境变量 ~/.bash_profile
  【进入sbin下有所有的启动文件】
  
  6.source 查看版本
  [crx@crx hadoop]$ source ~/.bash_profile
  [crx@crx hadoop]$ hadoop version
  Hadoop 2.7.3
  7.分别测试环境变量
  

Hadoop重要目录 cd $HADOOP_HOME
（1）bin目录：存放对Hadoop相关服务（HDFS,YARN,Hadoop）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：（super）存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

• hadoop自带案例测试
• 9.运行hadoop自带的案例
  a.进入以下目录:
  绝对路径的运行方式
  [crx@master Desktop]$ hadoop jar /home/crx/soft/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 10 5