搭建Hadoop分布式集群

1、概述

在 Hadoop 里面针对于使用的进程基本上分为两类：
• DFS进程：NameNode、SecondaryNameNode、DataNode;
• YARN进程：ResourceManager、NodeManager。
从理论上来讲本程序应该搭建两套集群：DFS 集群、YARN 集群。

2、配置主机信息

本次集群设有六台主机，先克隆一个带有JDK的linux虚拟机，克隆的时候注意一下是完整克隆，在用这个虚拟机克隆出其他五台虚拟机，同时也要考虑内存的问题，每台主机最低也要保持 512M 内存，按照顺序启动虚拟机，采用的是NAT模式，这样动态的 IP才是连贯的

、

3、 需要确定每台主机的 ip 地址以及修改主机名称;

• 查看 ip：ifconfig;

• 修改每台主机的主机名称：vim  /etc/hostname，修改完成之后需要重新启动虚拟机;

我设置的主机名称分别为

hadoop-namenode

hadoop-secondarynamenode

hadoop-datanode-slave1

hadoop-datanode-slave2

hadoop-datanode-slave-back

hadoop-datanode-slave3

4、

修改 hadoop-namenode 主机中的hosts 文件，设置所有的secondarynamenode、datanode 主机信息，但是不包括动态扩充的"hadoop-datanode-slave-back"主机：vim    /etc/hosts、

192.168.116.132 hadoop-namenode：
192.168.116.133 hadoop-secondarynamenode
192.168.116.134 hadoop-datanode-slave1
192.168.116.135 hadoop-datanode-slave2
192.168.116.137 hadoop-datanode-slave3

5、 将 hadoop-namenode 中的 hosts 文件拷贝到其它主机之中(但是不包括hadoop-datanode-slave-back 主机)

拷贝到 hadoop-secondarynamenode：scp /etc/hosts hadoop-secondarynamenode:/etc

拷贝到 hadoop-datanode-slave1：scp /etc/hosts hadoop-datanode-slave1:/etc

拷贝到 hadoop-datanode-slave2：scp /etc/hosts hadoop-datanode-slave2:/etc

拷贝到 hadoop-datanode-slave3：scp /etc/hosts hadoop-datanode-slave3:/etc

6、

所有的操作最终都要通过 hadoop-namenode 主机发出，所以为每台主机配置ssh 免登录操作;