Hadoop HA(高可用)
一、HDFS HA
1.HDFS HA 背景
*hadoop2版本中可以有多个namenode结点,一个是活跃(active)状态,一个是准备(standby)状态。(haoop 1不存在此特性)
*HDFS集群中NameNode 存在单点故障(SPOF)。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用,直到NameNode 重新启动。
为了解决上述问题,Hadoop给出了HDFS的高可用HA方案:
*HDFS通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。
*Active NameNode对外提供服务,比如处理来自客户端的RPC请求,而Standby NameNode则不对外提供服务,仅同步Active NameNode的状态,以便能够在它失败时快速进行切换。
2.HDFS HA架构
*一个典型的HA集群,NameNode会被配置在两台独立的机器上,在任何时间上,一个NameNode处于活动状态,而另一个NameNode处于备份状态。
*如何实现Standby Node与Active Node保持同步?
为了让Standby Node与Active Node保持同步,这两个Node都与一组称为JNS的互相独立的进程保持通信(Journal Nodes)。Active Node的操作信息会被记录在日志中,这些
日志信息会发送给JNS,Standby noes将会从JNS中读取这些edits并执行与日志一致的操作。当failover(单点故障)发生时,Standby将会在提升自己为Active之前,确保
能够从JNS中读取所有的edits,即在failover发生之前Standy持有的namespace应该与Active保持完全同步。
*实现快速faliover
为了支持快速failover,Standby node持有集群中blocks的最新位置是非常必要的。为了达到这一目的,DataNodes上需要同时配置这两个Namenode的地址,
同时和它们都建立心跳链接,并把block位置发送给它们。
*只允许一个NameNode是Active
下述是基于QJM的HDFS HA方案执行流程:
1.客户端会发送请求给zookeeper集群,zookeeper保存着NameNode信息,然后zookeeper会把读写请求分配给Actie NameNode,然后由NameNode对DtatNode进行相应的操作。
2.Active NameNode是主NameNode。Standy NameNode是备份NameNode。之所以NN知道去处理哪个DN,是因为DN会把Blocks的信息汇报给NN。为了解决单点故障的问题,NN会
实时的把元数据信息写入JN集群,而不是把元数据信息写在本地的磁盘上(fsimage,edits)。一旦Active NN出现故障,zookeeper集群会通过failoverController把故障NN切换到备份NN。
3.Zookeeper集群之所以知道故障NN,是因为Active NN会把它的心跳信息汇报给集群,zk通过心跳信息判断NN的状态。
HA流程图链接:https://i-blog.csdnimg.cn/blog_migrate/a1e5833b2dc82f68b64113fbafe49370.png
3.HDFS HA配置要素
*NameNode机器:两台配置对等的物理机器,它们分别运行Active和Standby Node。
*JouralNode机器:运行JouralNodes的机器。JouralNode守护进程相当的轻量级,可以和Hadoop的其他进程部署在一起,至少需要3个且为奇数,如果你运行了N个JNS,
那么它可以允许(N-1)/2个JNS进程失效并且不影响工作。
*在HA集群中,Standby NameNode还会对namespace进行checkpoint操作(继承Backup Namenode的特性),因此不需要在HA集群中运行SecondaryNameNode、CheckpointNode
或者BackupNode。(也就是备份节点做了上述三个节点的工作)
4.HDFS自动故障转移
HDFS的自动故障转移主要由Zookeeper(Zookeeper很重要啊)和ZKFC两个组件组成。
Zookeeper集群作用主要有:
*故障监控。
每个NameNode将会和Zookeeper建立一个持久session,如果NameNode失效,那么此session将会过期失效,此后Zookeeper将会通知另一个Namenode,然后触发Failover。
*NameNode选举(选举就决定了zookeeper集群节点的个数必须是奇数个,一般都是大于1的奇数)
ZooKeeper提供了简单的机制来实现Acitve Node选举,如果当前Active失效,Standby将会获取一个特定的排他锁,那么获取锁的Node接下来将会成为Active。
ZKFC是一个Zookeeper的客户端,它主要用来监测和管理NameNodes的状态,每个NameNode机器上都会运行一个ZKFC程序,它的职责主要有:
*健康监控。
ZKFC间歇性的ping NameNode,得到NameNode返回状态,如果NameNode失效或者不健康,那么ZKFS将会标记其为不健康;
*Zookeeper会话管理。
当本地NaneNode运行良好时,ZKFC将会持有一个Zookeeper session,如果本地NameNode为Active,它同时也 持有一个
“排他锁”znode,如果session过期,那么znode也将被删除;
*选举。当集群中其中一个NameNode宕机,Zookeeper会自动将另一个激活。
二、YARN HA
YARN的HA架构和HDFS HA类似,需要启动两个ResourceManager,这两个ResourceManager会向ZooKeeper集群注册,通过ZooKeeper管理它们的状态(Active或Standby)
并进行自动故障转移。可以把ResourceManager当作是NN,NodeManager当作是DN。
三、高可用集群搭建流程
1.环境:
*jdk1.7.0_79
*hadoop2.7
*CentOS6.5
2.集群规划
【注意】1.ZKFC与NN是一致的
2.在yarn-site.xml文件中指定RM位置,集群中其余节点自动成为NM,NM不需要配置
3.前提条件
*集群中的节点时间同步
*CentOS7的时间同步:
yum -y install ntp
systemctl enable ntpd
systemctl start ntpd
ntpdate -u cn.pool.ntp.org
*CentOS6的时间同步
在node2与node3上分别输入下述命令:
ntpdate node1
*软件版本问题:搭建之前一定要参照官方文档提供的版本对应关系!一定注意!!!!(血的教训)
*SSH免密登陆(后面配置中我提及了!不必担心)
*关闭防火墙,CentOS6与CentOS7关闭防火墙的指令是不一致的:
*CentOS6:service iptables stop
*CentOS7:systemctl stop firewalld
4.配置hosts
在 /etc/sysconfig/network 目录下输入以下内容:
NETWORKING=yes
HOSTNAME=node1
在 /etc/hosts 目录下输入下述内容:
192.168.40.143 node1
192.168.40.144 node2
192.168.40.145 node3
192.168.40.140 node4
5.安装jdk1.7.0_79
6.zookeeper集群
*把/pzz/zookeeper-3.4.5/conf/zoo_sample.cfg文件改名:zoo.cfg
*在zoo.cfg文件中配置下述内容:
dataDir=/usr/hk/zookeeper
server.1=node2:2888:3888
server.2=node3:2888:3888
server.3=node4:2888:3888
*在/usr/zookeeper目录下创建myid文件,并在文件内容中写上1或是2或是3,也就是上述zoo.cfg中配置server编号!
7.Hadoop集群
*修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为BJFU -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://BJFU</value>
</property>
<!-- 指定hadoop临时目录,tmp这个目录需要提前建立好 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/zookeeper</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>node2:2181,node3:2181,node4:2181</value>
</property>
</configuration>
*修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为BJFU,需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>BJFU</value>
</property>
<!-- ns1下面有两个NameNode,分别是nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>node1:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>node1:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>node2:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>node2:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://node2:8485;node3:8485;node4:8485/BJFU</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/JN</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_dsa</value>
</property>
</configuration>
*修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
*修改yarn-site.xml
<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node3</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node4</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node2:2181,node3:2181,node4:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
*修改slaves,配置DN.
node2
node3
node4
*在hadoop-env.sh以及yarn-env.sh中指定jdk位置
*上述的操作都是在node1上进行的,把hadoop的conf的配置文件拷贝到其余节点上
------------------------------------------------------------------------------------------------
以上完成HA配置
*启动顺序很关键
1.启动zookeeper集群(分别在node2、node3、node4上启动zk)
./bin/zkServer.sh start
#查看状态:一个leader,两个follower
./bin/zkServer.sh status
【注意】leader与follwer。因为zookeeper中算法是基于选举制的,意思是当得票数超过半数以上时,成为Leader,其他成为Follower。
比如我们的这三个服务器分别是A,B,C
1.我们依次启动A -> B -> C
2.启动A时,A会给自己投票,然后会把信息发送给其他服务器,但是现在就A一个服务器,无法通信,所以A会处于Looking状态
3.启动B时,B会给自己投票,因为B的id为2,权重比A大,所以B成为老大,但是此时投票数超过半数所以B成为Leader。
4.启动C时,C给自己投票,C权重比A和B都大,但是这个时候B已经成为Leader,所以C只能成为Follower,A和C 成为Follower
如果还有 D,E服务器时,这个时候就是5个服务器,当运行到C时,C权重大,成为老大,投票数超过半数成为Leader, 虽然D,E服务器ID(权重)比C大,但是由于C已经成为Leader,那么DE只能被迫成为Follower,前提是:C比DE先启动。
2.启动journalnode(分别在在node2、node3、node4上执行) ./sbin/hadoop-daemon.sh start journalnode
3.node1上格式化HDFS ./bin/hdfs namenode -format 然后启动NN ./sbin/hadoop-daemon.sh start namenode
4.在node2,node3,node4上分别执行命令: ./bin/hdfs namenode -bootstrapStandby (拷贝元数据)
5.格式化ZKFC(在node1上执行即可) ./bin/hdfs zkfc -formatZK
6.启动hdfs、yarn
*查看集群的状态:
./bin/hdfs dfsadmin -report 查看hdfs的各节点状态信息
./bin/hdfs haadmin -getServiceState nn1 查看namenode高可用
./bin/yarn rmadmin –getServiceState rm1 查看ResourceManager高可用