Centos7下搭建Hadoop-2.8.4分布式集群

由于机器原因，只拿到了三台机器，所以就先搭3台机器，一条机器做Namenode，另外2台做DataNode。

Hadoop中的管理节点和数据节点最好分开部署

数据节点在实际运行任务时负载是比较重的，很容易影响管理示例的稳定性

下面是搭建步骤：

1 修改/etc/hosts文件

 这里说明下有的是把自己的hostname做了修改，改成啥master ,salver 1，salver2这样或者namenode,datanode1,datanode2这样的形式，但是博主因为不能修改hostname，所以直接采用的机器本身的hostname，这里只要把ip和hostname的映射关系做好，都是没有问题的。所以不必太过纠结这一个问题。

 

三台机器的配置都是一样配置的，大致就如下配置，按实际情况配:后面我就以这三个名字进行举例

192.168.9.1  namenode
192.168.9.2  datanode1
192.168.9.3  datanode2

2 三台机器都修改完后就检查下三台机之间是否都可以Ping 通 进行互联，这里命令如下

ping -c 3 datanode1

三台机器上面都要进行这样的测试，每一台都测试与另外几台机器之间是否能通 

3  免密登录，因为在后续Hadoop启动的时候会登录另外的集群，所以这里会做下三台机器之间的免密登录 

首先分别在三台机器上生成公钥 

ssh-keygen -t rsa -P ''

4 分别在三台机器上创建authorized_keys文件

touch /root/.ssh/authorized_keys

5. 检查authorized_keys文件是否生成成功

ls /root/.ssh/

6  将 三台机器id_rsa.pub中的key复制，然后三个key 都放到authorized_keys中，然后三台机器的authorized_keys文件中的内容保持一致

大致效果如上

7 检查是否能够免密登陆

ssh datanode1 

分别在三台机器上进行测试互联 

8 JDK环境检查

分别检查三台机器上的JDK环境，我这里用的JDK 版本为 jdk1.8.0_65

如果JDK需要升级大致步骤如下：

下载JDK安装包  

在/opt/java 创建java目录

然后将安装包放到该目录下，进行解压缩

 mkdir /opt/java

 tar  -zxvf   jdk-8u65-linux-x64.tar.gz

修改配置文件

vim /etc/profile

在该文件内添加如下命令&#