Hadoop HA架构图原理

Hadoop HA架构

hadoop ha介绍
HDFS（HA）： 分为NameNode和DataNode，SecondaryNameNode，master/slave架构
NameNode：存放HDFS的元数据，由FsImage和EditLog组成
FSImage：存放 BlockId,文件权限，文件目录
EditLog:存放对HDFS的操作记录
SNN：每隔一段时间做一次checkpoint的操作，如果NN挂了，snn只能恢复上一次的checkpoint的状态，如能实时的到挂的状态，这就是snn的瓶颈。

HA 目的:hdfs只有一个NameNode节点是，当namenode宕机后，整个hdfs也都无法使用了。
为了解决NameNode的单点故障，为NameNode保存一个热备，使得nameNode有两个，Active NameNode，Standby NameNode，当active nn挂了以后standby nn 能立马变为active nn

有了Hadoop HA，当程序需要访问hdfs时访问的是avtive nn，所以就需要一个命名空间，
在程序中只需要写：hdfs://hdfsnamespace/
当程序读取到namespace时候会去配置文件中查找处于active nn

<!--HDFS高可用配置 -->
	<!--指定hdfs的nameservice为hdfsnamespace,需要和core-site.xml中的保持一致 -->
	<property>
		<name>dfs.nameservices</name>
		<value>hdfsnamespace</value>
	</property>
	<property>
		<!--设置NameNode IDs 此版本最大只支持两个NameNode -->
		<name>dfs.ha.namenodes.hdfsnamespace</name>
		<value>nn1,nn2</value>
	</property>

	<!-- Hdfs HA: dfs.namenode.rpc-address.[nameservice ID] rpc 通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.hdfsnamespace.nn1</name>
		<value>hadoop001:8020</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.hdfsnamespace.nn2</name>
		<value>hadoop002:8020</value>
	</property>

	<!-- Hdfs HA: dfs.namenode.http-address.[nameservice ID] http 通信地址 -->
	<property>
		<name>dfs.namenode.http-address.hdfsnamespace.nn1</name>
		<value>hadoop001:50070</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.hdfsnamespace.nn2</name>
		<value>hadoop002:50070</value>
	</property>

这里以三台机器学习了解Hadoop ha架构

hadoop001: ZK NN zkfc(zookeeperFailoverControl)  jn(JournalNode)  DN 
hadoop002: ZK NN zkfc			    			 jn               DN
hadoop003: ZK                                    jn               DN

说明：

这里的zkfc是一个进程，而在yarn ha架构中zkfc是一个线程

JN：journalnode
用于active nn,standby nn的同步数据，本身由一组的JN节点组成的集群，奇数，3台(CDH)，是支持Paxos协议。保证高可用。
ZKFC：zookeeperfailovercontrol
监控NN的健康状态，向ZK集群定期发送心跳  ，让自己被选举，当自己被ZK选举为主时，zkfc进程通过rpc调用让nn转换为active状态
DN: 同时向NN1 NN2发送心跳和块报告。
ACTIVE NN: 读写的操作记录写到自己的editlog，同时写一份到JN集群，接收DN的心跳和块报告
STANDBY NN: 同时接收JN集群的日志，显示读取执行log操作(重演)，使得自己的元数据和active nn节点保持一致， 接收DN的心跳和块报告

整个过程描述：
当通过client端提交请求的时候，无论读和写，我们是通过命名空间hdfsnamespace，去找c处于active状态的nn，找到了就在那台机器上面，提交请求，然后就是HDFS的读写流程，读和写的操作记录，edit log，它自己会写一份，同时会把读写请求的操作记录，写一份到journalnode集群日志，进行同步至另外一个节点，standby 节点会把它拿过来实时的应用到自己的本身。专业的名称叫重演。同时每个DataNode会向NameNode节点发送心跳的块报告（心跳的间隔时间3600s））。当active NN节点挂了，通过zk集群选举（它存储了NN节点的状态），通知ZKFC，把standby NN节点切换到active状态。ZKFC会定期的发送心跳

YARN HA架构理解

RM:
a.启动时会通过向ZK的/hadoop-ha目录写一个lock文件，写成功则为active，否则standby。
standby RM会一直监控lock文件的是否存在，如果不存在就会尝试去创建，争取为active rm。
b.会接收客户端的任务请求，接收和监控nm的资源的汇报，负责资源的分配与调度，启动和监控 ApplicationMaster（AM）

NM:
节点上的资源的管理，启动container 容器 运行task的计算，上报资源，container情况汇报给RM和任务的处理情况汇报给 ApplicationMaster（AM）

ApplicationMaster（AM）driver : nm机器上的container
单个application(job)的task的管理和调度，并向rm进行资源的申请，
向nm发出 launch container指令，接收NM的task的处理状态信息。

RMstatestore:
a.RM的作业信息存储在ZK的/rmstore下，active RM向这个目录写app信息
b.当active rm挂了，另外一个standby rm成功转换为active rm后，会从/rmstore目录读取相应的作业信息，
重新构建作业的内存信息。然后启动内部服务，开始接收NM的心跳，构建集群资源的信息，并接收客户端的提交作业的请求等。

ZKFC:
自动故障转移 只作为RM进程的一个线程 而非独立的守护进程来启动

总结hdfs yarn ha架构区别

相同点：都是为了解决单点故障，都需要两个相同的角色互为主备，数据都实时同步，且都需要从中间节点拉取数据
不同：
①zkfc： hdfs中，zkfc是一个进程监控nn,而yarn中只是作为rm进程中的一个线程监控
②hdfs ha 通过中间集群JN读写请求和重演实现数据同步，而yarn ha通过zk存储
③在active状态切换时，hdfs ha可以直接从standby切换为active，而yarn ha切换为active rm后，还需要从zk的rmstore目录下读取作业信息，且读取过程中无法对外提供服务