1.软件及安装环境
本文中所使用的环境为三台Centos服务器,操作系统版本为CentOS6.5
HDFS版本为2.6.0,通过journal node实现高可用(HDFS journal node高可用配置可参见__HDFS三节点集群搭建(Journal Node)或自行百度)。
Keepalived 版本为1.2.6。
IP地址为211,212,214,其中211和212节点作为Namenode,211节点在hdfs中配置为hadoop01,212节点配置为hadoop02,214节点用于datanode。同时,需要在211和212节点部署Keepalived服务。
<property>
<name>dfs.nameservices</name>
<value>cluster1</value>
</property>
<property>
<name>dfs.ha.namenodes.cluster1</name>
<value>hadoop01,hadoop02</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop01</name>
<value>192.168.6.211:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster1.hadoop01</name>
<value>192.168.6.211:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop02</name>
<value>192.168.6.212:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster1.hadoop02</name>
<value>192.168.6.212:50070</value>
</property>
如代码中所示,将211节点作为hadoop01节点,212节点作为hadoop02节点。
2.配置
2.1首先,配置hdfs,配置完成之后,可以在控制台通过jps指令查看,可以看到211和212运行的进程如下:
通过jps指令可以看到214运行的进程如下:
2.2集群中两个元数据节点需要安装Keepalived,在示例中,将Server211设置为主节点,Server212设置为从节点。