Hadoop3.1.2集群的搭建

1，配置java环境

 下载jdk版本：jdk1.8.0_91

  解压到 /usr/java 目录下

  配置java环境

2，配置hosts文件
命令： cat /etc/hosts
配置如下：

  192.168.1.10  master
  192.168.1.11  slaver
  192.168.1.12  slaver
  192.168.1.13   slaver
  192.168.1.14  slaver

3，关闭防火墙

  查看防火请状态：sudo systemctl status firewalld

  关闭防火墙：sudo systemctl stop firewalld  

4，配置免密登录

  以 192.168.1.10机器为例

  (1)，每台机器上执行  ssh-keygen -t rsa  命令，生成对应的公钥和私钥，      
     文件的目录为：cd /home/user/.ssh

 (2)，使用命令将机器的公钥添加到其他机器上：ssh-copy-id -i id_rsa.pub 192.168.1.10

 (3)，执行ssh  192.168.1.10 命令，如果不需要密码登陆上去，说明配置成功，其他机器类似，因此配置，master → 各slaver1 ，各slaver1 →master，master → master（启动 namenode/secnodary-namenode需要）     

5，配置hadoop核心文件

  master所有的文件都需要配置，salver只需要配置hadoop-env.sh和core-site.xml

  进入hadoop目录下：cd  /home/user/hadoop-3.1.2/etc/hadoop

 (1)   etc/hadoop/hadoop-env.sh (配置java环境变量)

 (2)  etc/hadoop/core-site.xml

  (3)  etc/hadoop/hdfs-site.xml
  配置如下：
     <configuration>
         <property>
             <name>dfs.name.dir</name>
             <value>/home/user/hadoop-3.1.2/name</value>
             <final>true</final>
         </property>
        <property>
             <name>dfs.data.dir</name>
            <value>/home/user/hadoop-3.1.2/data</value>
             <final>true</final>
        </property>
        <property>
             <name>fs.checkpoint.dir</name>
             <value>/home/user/hadoop-3.1.2/snn</value>
             <final>true</final>
        </property>
        <property>
             <name>fs.checkpoint.edits.dir</name>
             <value>/home/user/hadoop-3.1.2/snn</value>
             <final>true</final>
        </property>
        <property>
             <name>dfs.replication</name>
             <value>4</value>
             <final>true</final>
        </property>
        <property>
             <name>dfs.permissions</name>
             <final>false</final>
        </property>
  </configuration>

(4)  etc/hadoop/yarn-site.xml

     配置如下：
      <configuration>
          <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
          </property>
          <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>192.168.1.10</value>
          </property>
          <property>
               <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
          </property>
       </configuration>
       
(5)  etc/hadoop/mapred-site.xml
     配置如下：
        <configuration>
            <property>
                 <name>mapreduce.framework.name</name>
                 <value>yarn</value>
            </property>
       </configuration>
       
(6)  etc/hadoop/workers
       192.168.1.10
       192.168.1.11
       192.168.1.12
       192.168.1.13
       192.168.1.14

6，格式化namenode

  命令：/home/user/hadoop-3.1.2/bin

  进入bin目录下，执行如下命令格式化namenode: ./hadoop namenode -format

7，开启集群

 命令：/home/user/hadoop-3.1.2/sbin
 进入sbin命令下，执行 ./start-all.sh启动hadoop集群，启动后，jps
 master进程：

 各slaver进程：

8，关闭集群

 命令：./stop-all.sh