HDFS-HA的配置-----自动Failover

最新推荐文章于 2022-07-30 20:56:13 发布

chenpingbupt

最新推荐文章于 2022-07-30 20:56:13 发布

阅读量1.7w

点赞数

分类专栏： Hdfs Hadoop Hadoop-CDH-V4.0 文章标签： zk 集群 session 活动 server 任务

本文链接：https://blog.csdn.net/chenpingbupt/article/details/7922089

版权

本文详细介绍了HDFS高可用(HA)的配置过程，特别是如何实现节点间的自动Failover。通过集成Zookeeper集群，确保在活动NameNode故障时，任务能够无缝切换到备用NameNode，维持服务不间断。

摘要由CSDN通过智能技术生成

 转帖请注明本空间地址：http://blog.csdn.net/chenpingbupt 
 
 

1、概述

 
 在手动FailOver的基础上，自动Failover增加了两个东西：一个是ZooKeeper集群，一个是ZKFailoverController(简称：ZKFC)
  
   ZK集群： 
  
   作为一个高可靠系统，能够为一小部分协同数据提供监控，将数据的更改随时反应给客户端。HDFS的HA依赖zk提供的两个特性：一个是错误监测，一个是活动节点选举 
  
       Failure detection 
  
   每个NN都会在ZK中注册并且持久化一个session。一旦一个NN失效了，那么这个session也将过期，那么zk将会通知其他的NN应该发起一个Failover 
      Active NameNode election 
   ZK提供了一个简单的机制来保证只有一个NN是活动的。如果当前的活动NN失效了，那么另一个NN将获取ZK中的独占锁，表名自己是活动的节点。 
  ZKFailoverController(ZKFC) 
  
  作为一个ZK集群的客户端，用来监控NN的状态信息。每个运行NN的节点必须要运行一个zkfc。zkfc提供以下功能： 
  
      Health monitoring