Namenode HA

最新推荐文章于 2023-03-29 19:46:29 发布

余建新-18588497759

最新推荐文章于 2023-03-29 19:46:29 发布

阅读量538

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/aaronhadoop/article/details/50980828

版权

Hadoop 专栏收录该内容

23 篇文章 1 订阅

订阅专栏

NameNode HA

#一、Hadoop2进程
QuorumPeerMain

JournalNode
NameNode
DFSZKFailoverController
DataNode

ResourceManager
NodeManager

#二、集群启动流程
社区的NN HA包括两个NN，主（active）与备（standby），ZKFC，ZK，share editlog。
集群启动流程：
集群启动后一个NN处于active状态，并提供服务，处理客户端和datanode的请求，并把editlog写到本地和share editlog（可以是NFS，QJM等）中。另外一个NN处于Standby状态，它启动的时候加载fsimage，然后周期性的从share editlog中获取editlog，保持与active的状态同步。为了实现standby在sctive挂掉后迅速提供服务，需要DN同时向两个NN汇报，使得Stadnby保存block to datanode信息，因为NN启动中最费时的工作是处理所有datanode的blockreport。
为了实现热备，增加FailoverController和ZK，FailoverController与ZK通信，通过ZK选主，FailoverController通过RPC让NN转换为active或standby。

namenode启动比较耗时，包括加载fsimage和editlog（获取file to block信息），处理所有datanode第一次blockreport（获取block to datanode信息），保持NN的状态同步，需要这两部分信息同步。

#三、QJM的设计
Namenode记录了HDFS的目录文件等元数据，客户端每次对文件的增删改等操作，Namenode都会记录一条日志，叫做editlog，而元数据存储在fsimage中。为了保持Stadnby与active的状态一致，standby需要尽量实时获取每条editlog日志，并应用到FsImage中。这时需要一个共享存储，存放editlog，standby能实时获取日志。这有两个关键点需要保证，共享存储是高可用的，需要防止两个NameNode同时向共享存储写数据导致数据损坏。

参考paper
http://www.infoq.com/cn/articles/hadoop-2-0-namenode-ha-federation-practice-zh/
http://www.it165.net/admin/html/201407/3465.html