Hadoop2.5的HDFS集群HA搭建(高可用集群)

1.前提条件

(1).搭建普通hdfs集群,高可用集群在此集群上进行修改,扩展:参考:搭建hadoop分布式文件管理系统(HDFS)

(2).搭建zookeeper集群(用来切换namenode主备节点):参考:搭建zookeeper集群

2.介绍高可用hdfs集群

(1).action namenode节点为活动节点,主要作用为:1接受客户端的读写操作;2存储元数据(fsimage和edit文件)执行节点格式化时候加载

(2).standby namenode为备节点,在高可用集群中将取消SecondaryNameNode辅助节点,将元数据放到内部集群当中JournalNode中

(3).zookeeper选举机制实现action和standby切换,每个namenode有一个影节点,failovercontroller active 和failovercontroller standby

(4).影节点作用1.进行远程免密码登录切换standby namenode为action namenode,2监管所有namenode的健康状态

3.机器分配情况

有5台机器:node1,node2,node3,node4,node5

node1,node2,node3上装载zookeeper

node3,node4,node5装载内部journalnode

node1,node2为主节点和备节点(standby namenode)

4.改造原有集群

(1).删除集群中所有机器原先配置的masters

rm  /usr/hadoop-2.5.1/etc/hadoop/masters

(2).删除集群中所有机器上格式化和使用生成的文件

rm -rf    /opt/hadoop-2.5

5.在node1上修改hadoop配置文件hdfs-site.xml

vi /usr/hadoop-2