Hadoop集群搭建

0. 环境条件 (基于以下版本 且 ssh 授信免密登录已设置)：

1.下载安装包

   cd /usr/local

   wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

   tar zvxf hadoop-2.10.1.tar.gz

2.关闭系统防火墙及内核防火墙

   #Master、Slave1、Slave2

   systemctl stop firewalld

   #临时关闭内核防火墙

   setenforce 0

   #永久关闭内核防火墙

   vim /etc/selinux/config

   SELINUX=disabled

3.修改Hadoop配置文件

   #创建临时目录和HDFS文件目录

   cd /usr/local/hadoop-2.10.1

   mkdir tmp

   mkdir -p dfs/name dfs/data

   #指定Hadoop依赖的JDK

   cd /usr/local/hadoop-2.10.1/etc/hadoop

   vim hadoop-env.sh

   export JAVA_HOME=/usr/local/jdk1.8.0_121

   #指定Hadoop集群从节点

    vim slaves

    slave1

    slave2

   #修改Hadoop核心配置文件（依赖HDFS）

    vim core-site.xml

    <configuration>

        <property>

             <name>fs.defaultFS</name>

            <value>hdfs://master:9000</value>

        </property>

        <property>

             <name>hadoop.tmp.dir</name>

            <value>file:/usr/local/hadoop-2.10.1/tmp/</value>

        </property>

    </configuration>

    #配置HDFS

     vim hdfs-site.xml

     <configuration>

         <property>

               <name>dfs.namenode.secondary.http-address</name>

               <value>master:9001</value>

        </property>

        <property>

               <name>dfs.namenode.name.dir</name>

               <value>file:/usr/local/hadoop-2.10.1/dfs/name</value>

        </property>

        <property>

               <name>dfs.datanode.data.dir</name>

              <value>file:/usr/local/hadoop-2.10.1/dfs/data</value>

        </property>

        <property>

               <name>dfs.replication</name>

              <value>2</value>

        </property>

   </configuration>

   #配置MapReduce

   cp mapred-site.xml.template mapred-site.xml

   vim mapred-site.xml

   <configuration>

          <property>

                 <name>mapreduce.framework.name</name>

                <value>yarn</value>

           </property>

   </configuration>

  #配置YARN资源管理调度中心

  vim yarn-site.xml

  <configuration>

          <property>

                  <name>yarn.nodemanager.aux-services</name>

                  <value>mapreduce_shuffle</value>

          </property>

          <property>

                  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

                  <value>org.apache.hadoop.mapred.ShuffleHandler</value>

           </property>

          <property>

                  <name>yarn.resourcemanager.address</name>

                 <value>master:8032</value>

          </property>

          <property>

                  <name>yarn.resourcemanager.scheduler.address</name>

                 <value>master:8030</value>

         </property>

         <property>

                  <name>yarn.resourcemanager.resource-tracker.address</name>

                 <value>master:8035</value>

          </property>

          <property>

                   <name>yarn.resourcemanager.admin.address</name>

                  <value>master:8033</value>

          </property>

          <property>

                   <name>yarn.resourcemanager.webapp.address</name>

                   <value>master:8088</value>

          </property>

          <!-- 关闭虚拟内存检查-->

         <property>

                     <name>yarn.nodemanager.vmem-check-enabled</name>

                    <value>false</value>

         </property>

   </configuration>

4.配置hadoop环境变量

    #Master、Slave1、Slave2

    vim ~/.bashrc

   export HADOOP_HOME=/usr/local/hadoop-2.10.1

   export PATH=$PATH:$HADOOP_HOME/bin

   #刷新环境变量

   source ~/.bashrc

5.拷贝安装包

   #Master

   scp -r /usr/local/hadoop-2.10.1 root@slave1:/usr/local/hadoop-2.10.1

   scp -r /usr/local/hadoop-2.10.1 root@slave2:/usr/local/hadoop-2.10.1

6.启动集群

   #Master

   #初始化Namenode

   hadoop namenode -format

   #启动集群

   cd /usr/local/hadoop-2.10.1

   ./sbin/start-all.sh

7.集群状态

   #Master

   jps

   

   #Slave1

   jps

   

   #Slave2

   jps

   

8.监控网页（如果不能访问，需要再次确认是否关闭了防火墙）

YARN页面：

 http://master:8088 （需要更改本地host 域名解析）

 或

 http://192.168.2.143:8088

    

HDFS页面(namenode)：

http://192.168.111.10:50070/dfshealth.html#tab-overview

9.关闭集群

cd /usr/local/hadoop-2.10.1

./sbin/stop-all.sh