Hadoop集群搭建

                                           Hadoop集群搭建

配置安排：

       node-1： NameNode  ResourceManager

       node-2： SecondaryNameNode

       node-3：

       说明：这里集群由三台服务器组成。配置hadoop集群环境，其实需要配置hdfs集群和yarn集群。

                按照上述安排，这里一共三台服务器分别是node-1,node-2,node-3。

                根据下文配置，最终的结果是：对于hdfs来讲：NameNode在node-1，SecondaryNameNode在node-2，DataNode每台机器都有。

                                                                 对于yarn来讲：ResourceManager在node-1，NodeManager在node-2和node-3。

                切记一点，在生产环境中主就是主，从就是从，切勿在一台机器上即配置主节点，又配置从节点。

 

1.准备Linux环境（CentOS）

       设置好Linux的网络环境：nat模式

             

    1.1修改各个机器主机名，以node-1为例。

              vi /etc/sysconfig/network

              NETWORKING=yes

              HOSTNAME=node-1   

    1.2修改各主机名和IP的映射关系

              vi /etc/hosts  

              192.168.12.150     node-1

              192.168.12.151     node-2

              192.168.12.152     node-3

    1.3关闭各机器防火墙

       这里统一关闭开机自启动

              #查看防火墙状态

              service iptables status

              #关闭防火墙

              service iptables stop

              #查看防火墙开机启动状态

              chkconfig iptables --list

              #关闭防火墙开机启动

              chkconfig iptables off

    1.4.配置ssh免登陆

       #生成ssh免登陆密钥

       ssh-keygen -t rsa （四个回车）

       执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

       将公钥拷贝到要免密登陆的目标机器上（有几个就发几个，其中也可以在本机上发一次）

       ssh-copy-id node-2

    1.5 同步集群时间

       常用的手动进行时间的同步

              date -s "2017-03-03 03:03:03"

       或者网络同步：

              yum install ntpdate

              ntpdate cn.pool.ntp.org

2.在/export/servers/安装JDK

    2.1上传jdk（可直接上传到/export/servers/）

              rz jdk-8u65-linux-x64.tar.gz

    2.2解压jdk

              tar -zxvf jdk-8u65-linux-x64.tar.gz -C /root/apps

              解压后可以删除安装包

              rm -rf jdk-8u65-linux-x64.tar.gz

    2.3将java添加到环境变量中

              vim /etc/profile

              #在文件最后添加

              export JAVA_HOME=/export/servers/jdk

              export PATH=$PATH:$JAVA_HOME/bin

              export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

              #刷新配置

              source /etc/profile

3.安装hadoop2.7.4到/export/servers/

       上传hadoop的安装包到服务器（可直接上传到/export/servers/）

        hadoop-2.7.4-with-centos-6.7.tar.gz

        解压安装包

        tar zxvf hadoop-2.7.4-with-centos-6.7.tar.gz

        解压后可以删除安装包

        rm -rf hadoop-2.7.4-with-centos-6.7.tar.gz

       注意：hadoop2.x的配置文件目录：$HADOOP_HOME/etc/hadoop

3.1配置hadoop（整个3.1步骤都在hadoop安装目录下的etc/hadoop下进行）

第一个：hadoop-env.sh

vi hadoop-env.sh

export JAVA_HOME=/export/servers/jdk     

第二个：core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->

<property>

       <name>fs.defaultFS</name>

       <value>hdfs://node-1:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录,默认/tmp/hadoop-${user.name},这里自己选择一个路径 -->

<property>

       <name>hadoop.tmp.dir</name>

       <value>/export/data/hddata</value>

</property>

第三个：hdfs-site.xml  

<!-- 指定HDFS副本的数量 ，默认为3-->

<property>

       <name>dfs.replication</name>

       <value>2</value>

</property>

<property>

      <name>dfs.namenode.secondary.http-address</name>

     <value>node-2:50090</value>

</property>          

第四个：mapred-site.xml         

mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<!-- 指定mr运行时框架，这里指定在yarn上，默认是local -->

<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

</property>   

第五个：yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->

<property>

       <name>yarn.resourcemanager.hostname</name>

       <value>node-1</value>

</property>

<!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序默认值："" -->

<property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

</property>

第六个：slaves文件，里面写上从节点所在的主机名字

vi slaves

node-1

node-2

node-3  

3.2将hadoop添加到环境变量

       vim /etc/proflie

              export HADOOP_HOME=/export/servers/hadoop-2.7.4/

              export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

       source /etc/profile

3.3.将这台机器上的hadoop安装包及其环境变量文件发送到集群其他机器上（有几台发几次）

scp -r /export/servers/hadoop-2.7.4/ root@node-2:/export/servers/

scp -r /etc/profile root@node-2:/etc/profile

    3.4格式化namenode

（本质是对namenode进行初始化，格式化只能进行一次，

              而且要在NameNode所在的机器进行，除非失败。千万注意！！！）

                (hadoop namenode -format)

    3.5启动hadoop（此为一键启动）

              先启动HDFS

              start-dfs.sh

              再启动YARN

              start-yarn.sh

              相应的关闭命令

              stop-dfs.sh

              stop-yarn.sh

              ------------单个启动---------------

              在主节点上使用以下命令启动 HDFS NameNode：

              hadoop-daemon.sh  start namenode

              在每个从节点上使用以下命令启动 HDFS DataNode：

              hadoop-daemon.sh  start  datanode

              在主节点上使用以下命令启动 YARN ResourceManager：

              yarn-daemon.sh start  resourcemanager

              在每个从节点上使用以下命令启动 YARN nodemanager：

              yarn-daemon.sh  start  nodemanager

    3.6验证是否启动成功

              使用jps命令验证（由于不同的机器上面分布了不同的节点，所以在不同的机器上执行jps

              看到的启动情况不同）

              27408 NameNode

              28218 Jps

              27643 SecondaryNameNode

              28066 NodeManager

              27803 ResourceManager

              27512 DataNode

              http://192.168.12.150:50070 （HDFS管理界面,ip为NameNode所在机器的ip）

              http://192.168.12.150:8088 （MR管理界面，ip为ResourceManager所在机器的ip）