Hadoop运行环境搭建

1.1 虚拟机环境准备

1. 克隆虚拟机
2. 修改克隆虚拟机的静态IP
3. 修改主机名
4. 关闭防火墙
5. 创建chen用户
6. 配置chen用户具有root权限
7. 在/opt目录下创建文件夹

(7.1) 在/opt目录下创建module、software文件夹

      [chen@hadoop101 opt]$ sudo mkdir module
      [chen@hadoop101 opt]$ sudo mkdir software

（7.2）修改module、software文件夹的所有者cd

     [chen@hadoop101 opt]$ sudo chown chen:chen module/ software/
     [chen@hadoop101 opt]$ ll
     总用量 8
     drwxr-xr-x. 2 chen chen 4096 1月  17 14:37 module
     drwxr-xr-x. 2 chen chen 4096 1月  17 14:38 software

8. 关机，快照，克隆

9. 克隆的虚拟机改IP

10. 搞一个分发脚本

    cd ~
    vim xsync

          内容如下:
          #!/bin/bash
          #1 获取输入参数个数，如果没有参数，直接退出
          pcount=$#
          if ((pcount==0)); then
          echo no args;
          exit;
          fi
          #2 获取文件名称
          p1=$1
          fname=`basename $p1`
          echo fname=$fname
          #3 获取上级目录到绝对路径
          pdir=`cd -P $(dirname $p1); pwd`
          echo pdir=$pdir
          #4 获取当前用户名称
          user=`whoami`
          #5 循环
          for((host=102; host<105; host++)); do
          echo ------------------- hadoop$host --------------
          rsync -av $pdir/$fname $user@hadoop$host:$pdir
          done
    

    chmod +x xsync

    sudo cp xsync /bin

    sudo xsync /bin/xsync

1.2安装JDK

1. 卸载现有JDK
（1）查询是否安装Java软件：

    [chen@hadoop102 opt]$ rpm -qa | grep java

（2）如果安装的版本低于1.7，卸载该JDK：

    [chen@hadoop102 opt]$ sudo rpm -e 软件包

（3）查看JDK安装路径：

    [chen@hadoop102 ~]$ which java

2. 用SecureCRT工具将JDK导入到opt目录下面的software文件夹下面
3. 在Linux系统下的opt目录中查看软件包是否导入成功

    [chen@hadoop102 opt]$ cd software/
    [chen@hadoop102 software]$ ls
    hadoop-2.7.2.tar.gz   jdk-8u144-linux-x64.tar.gz

4. 解压JDK到/opt/module目录下

    [chen@hadoop102 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5. 配置JDK环境变量
（1）先获取JDK路径

    [chen@hadoop102 jdk1.8.0_144]$ pwd 
    /opt/module/jdk1.8.0_144

（2）打开/etc/profile文件

    [chen@hadoop101 software]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径

  #JAVA_HOME
  export JAVA_HOME=/opt/module/jdk1.8.0_144
  export PATH=$PATH:$JAVA_HOME/bin

（3）保存后退出

  :wq

（4）让修改后的文件生效

    [chen@hadoop102 jdk1.8.0_144]$ source /etc/profile

6. 测试JDK是否安装成功

    [chen@hadoop102 jdk1.8.0_144]# java -version
     java version "1.8.0_144"

注意：重启（如果java -version可以用就不用重启）

    [chen@hadoop102 jdk1.8.0_144]$ sync
    [chen@hadoop102 jdk1.8.0_144]$ sudo reboot

1 .3 安装Hadoop

0. Hadoop下载地址：
   https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

1. 用SecureCRT工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

2. 进入到Hadoop安装包路径下

   [chen@hadoop102 ~]$ cd /opt/software/
   

3. 解压安装文件到/opt/module下面

   [chen@hadoop102 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
   

4. 查看是否解压成功

   [chen@hadoop102 software]$ ls /opt/module/
    hadoop-2.7.2
   

5. 将Hadoop添加到环境变量
   （1）获取Hadoop安装路径

   [chen@hadoop102 hadoop-2.7.2]$ pwd
   /opt/module/hadoop-2.7.2
   

（2）打开/etc/profile文件

     [chen@hadoop102 hadoop-2.7.2]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径：（shitf+g）

     ##HADOOP_HOME
     export HADOOP_HOME=/opt/module/hadoop-2.7.2
     export PATH=$PATH:$HADOOP_HOME/bin
     export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出
（4）让修改后的文件生效

    [chen@ hadoop102 hadoop-2.7.2]$ source /etc/profile

6. 测试是否安装成功

    [chen@hadoop102 hadoop-2.7.2]$ hadoop version
    Hadoop 2.7.2

7. 重启(如果Hadoop命令不能用再重启)

    [chen@ hadoop102 hadoop-2.7.2]$ sync
    [chen@ hadoop102 hadoop-2.7.2]$ sudo reboot