hadoop+zookeeper实现高可用集群

在上一篇博客的基础上做这次实验

系统环境:RHEL6.5 selinux and iptables is disabled
Hadoop 、jdk、zookeeper 程序使用 nfs 共享同步配置文件
软件版本:hadoop-2.7.3.tar.gz zookeeper-3.4.9.tar.gz jdk-7u79-linux-x64.tar.gz    hbase-1.2.4-bin.tar.gz

server1作为master,server5作为备用master,server2、server3和server4作为集群服务器

ip	主机名	角色
172.25.45.1	server1.example.com	NameNode DFSZKFailoverController ResourceManager
172.25.45.2	server2.example.com	NameNode DFSZKFailoverController ResourceManager
172.25.45.3	server3.example.com	NameNode DFSZKFailoverController ResourceManager
172.25.45.4	server4.example.com	NameNode DFSZKFailoverController ResourceManager
172.25.45.5	server5.example.com	NameNode DFSZKFailoverController ResourceManager

在典型的 HA 集群中,通常有两台不同的机器充当 NN。在任何时间,只有一台机器处于Active 状态;另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作;而 Standby NN 主要用于备用,它主要维持足够的状态,如果必要,可以提供快速的故障恢复。
为了让 Standby NN 的状态和 Active NN 保持同步,即元数据保持一致,它们都将会和JournalNodes 守护进程通信。当 Active NN 执行任何有关命名空间的修改,它需要持久化到一半以上的 JournalNodes 上(通过 edits log 持久化存储),而 Standby NN 负责观察 edits log的变化,它能够读取从 JNs 中读取 edits 信息,并更新其内部的命名空间。一旦 Active NN出现故障,Standby NN 将会保证从 JNs 中读出了全部的 Edits,然后切换成 Active 状态。Standby NN 读取全部的 edits 可确保发生故障转移之前,是和 Active NN 拥有完全同步的命名空间状态。
为了提供快速的故障恢复,Standby NN 也需要保存集群中各个文件块的存储位置。为了实现这个,集群中所有的 Database 将配置好 Active NN 和 Standby NN 的位置,并向它们发送块文件所在的位置及心跳,如下图所示:

在任何时候,集群中只有一个 NN 处于 Active 状态是极其重要的。否则,在两个 Active NN的状态下 NameSpace 状态将会出现分歧,这将会导致数据的丢失及其它不正确的结果。为了保证这种情况不会发生,在任何时间,JNs 只允许一个 NN 充当 writer。在故障恢复期间,将要变成 Active 状态的 NN 将取得 writer 的角色,并阻止另外一个 NN 继续处于 Active状态。
为了部署 HA 集群,你需要准备以下事项:
(1)、NameNode machines:运行 Active NN 和 Standby NN 的机器需要相同的硬件配置;
(2)、JournalNode machines:也就是运行 JN 的机器。JN 守护进程相对来说比较轻量,所以这些守护进程可以可其他守护线程(比如 NN,YARN ResourceManager)运行在同一台机器上。在一个集群中,最少要运行 3 个 JN 守护进程,这将使得系统有一定的容错能力。当然,你也可以运行 3 个以上的 JN,但是为了增加系统的容错能力,你应该运行奇数个 JN(3、5、7 等),当运行 N 个 JN,系统将最多容忍(N-1)/2 个 JN 崩溃。在 HA 集群中,Standby NN 也执行 namespace 状态的 checkpoints,所以不必要运行Secondary NN、CheckpointNode 和 BackupNode;事实上,运行这些守护进程是错误的。

注意：Zookeeper 集群至少三台,总节点数为奇数个。

#######################hdfs高可用######################

一、配置zookeeper

1.新开一个服务器server5并安装nfs-util,：

[root@server5 ~]# yum install nfs-utils -y

2.新建hadoop用户：

[root@server5 ~]# useradd -u 800 hadoop

3.然后在五个服务端开启nfs服务，在server2、server3、server4、server5端将172.25.17.1：/home/hadoop目录挂载到本机/home/hadoop目录下

[root@server5 ~]# /etc/init.d/rpcbind start 
[root@server5 ~]# /etc/init.d/nfs start  
[root@server5 ~]# mount 172.25.17.1:/home/hadoop/ /home/hadoop/ 

4.为了实验环境的干净，在五个服务端将之前的环境清理（不是必须）：

[hadoop@server5 ~]$ rm -fr /tmp/*

5.在server1端，切换到hadoop用户，解压zookeeper安装包并将zoo_sample.cfg复制为zoo.cfg文件：
由于其他主机都使用了server1端的nfs文件系统，所以在server1端根目录下的hadoop目录里的所有操作，都会同步到其他4台主机里，也就是说5台机器的/home/hadoop目录内容完全一致。

[root@server1 ~]# su - hadoop 
[hadoop@server1 ~]$ tar zxf zookeeper-3.4.9.tar.gz 
[hadoop@server1 ~]$ cd zookeeper-3.4.9/conf
[hadoop@server1 conf]$ cp zoo_sample.cfg zoo.cfg