Linux集群中多节点服务器下Hadoop集群安装（安全可靠）

参照上一篇：单节点下安装hadoop伪分布式集群  安装完后，讲解安装hadoop集群点击打开链接

因为修改安装过的原因下面的/usr/local全部换为：/home/yexin/Haoop

 1.将上一节点node78中/usr/local中的安装好的hadoop 复制到新节点node79下的/usr/local (该节点作为datanode)

       将node78作为namenode

     

    因为上一节点中hadoop已经配置好，所以配置文件无需配置，但要保证该节点的jdk与node82下的安装路径一样。因为所有  节点都时公用一个~/.bashrc (集群上创建用户时会分发到每个节点)，当切换到其他节点时，~/.bashrc 中/usr/local等路径都是相应节点下的

2.因为该集群内网已经搭建好了 内网ip和节点名称都已经在/etc/hosts配置好了，

   不介绍内网搭建，注意本集群除了主节点联网，其他节点都不联网。

3.复制好了后（sudo scp hadoop username@ip:/usr/local）,因为该节点作为datanode,所以有些hadoop配置文件需要修 

  改。首先进入到/usr/local/hadoop/etc/hadoop下

修该以下几个文件

  (1)core-site.xml

    因为将node78作为namenode,其他节点作为datanode,

    所以要通过core-site.xml指定主机名,修改如下

    

     之后当程序存取HDFS时，会使用hdfs://node78:9000这个目标存储HDFS

     sudo service iptables stop关闭防火墙

   (2)yarn-site.xml

       修改如下

说明：

  8025  设置ResourceManager主机与NodeManager的连接地址

        NodeManager通过这个地址与ResourceManager汇报情况

  8030  设置ResourceManager主机与ApplicationMaster的连接地址

        ApplicationMaster通过这个地址与ResourceManager申请资源，释放资源

  8050  设置ResourceManager主机与客户端的连接地址

        客户端通过该地址 ResourceManager注册应用程序，删除应用程序

  YARN架构图

(图片来自hadoop官网http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html)

(3)mapred-site.xml

  修改如下

  

(4)hdfs-site.xml

  修改如下

  

设置datanode HDFS存储目录，删除原来的namenode设置，因为该节点纯碎做datanode，

4.以上作为一个datanode已经设置好了，其他datanode节点可以从node79中的/usr/local的hadoop复制过来。

  先复制到其他节点的/home/username/Packages下，再复制到/usr/local下

 

  sudo cp -r hadoop/ /usr/local

  复制后修改文件所属者和组

 

 

5.配置namenode节点(即修改node82上的配置)

 切换到node78 ,进入到cd /usr/local/hadoop/etc/hadoop/

 （1）编辑 hdfs-site.xml

        

  

         因为node82作为namenode所以设置namenode HDFS存储目录即可。

 (2) 编辑masters文件（有些版本中/hadoop/etc/hadoop中没有这个文件，配置namenode时可以不用配置）

     

     masters文件主要告诉hadoop系统哪一台机器是namenode

(3) 编辑slaves文件(该文件都有)

   slaves文件主要告诉hadoop系统哪些机器是datanode

 

6.删除namenode和datanode中的不必要的文件

 

                在node82上输入start-dfs.sh启动HDFS看见其他三个节点都启动了

                

                输入：

                

                启动Hadoop MapReduce的框架Yarn，

                切换到namenode 和 datanode 输入jps看到各自的进程都完美开启

               

                输入stop-all.sh可以关闭所有节点上的服务

                

                网页打开看到：

                

    当namenode启动不了（用jps命令在namenode节点上查看），看看是否50070端口开放。