HDFS HA ZKFC 分析

最新推荐文章于 2023-10-08 07:27:32 发布
最新推荐文章于 2023-10-08 07:27:32 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： hadoop 文章标签： hdfs ha zkfc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kellyzly/article/details/28872233
版权
本文深入探讨了ZKFC在HDFS高可用性（HA）中的角色，它负责监控NameNode状态，协调active和standby NameNode之间的切换。ZKFC组件包括HealthMonitor和ActiveStandbyElector，确保系统的稳定性和故障切换能力。
摘要由CSDN通过智能技术生成

图片来源https://issues.apache.org/jira/secure/attachment/12521279/zkfc-design.pdf

ZKFC 的作用: 监测NameNode,进行active, standby 之间的切换。

这张图显示ZKFC 的具体组成：由HealthMonitor, ActiveStandbyElector 组成。ZKFC 会把回调类

HealthCallbacks，ActiveStandbyElectorCallback注册到HealthMonitor，ActiveStandbyElector  中
HealthMonitor: 监测NN的状态
ActiveStandbyElecotor: 相当于zookeeper的Client，监视着znode(zkLockFilePath,zkBreadCrumbPath), 当znode 发生变化的时候，进行抢夺active namenode, 退化成standby namenode 等工作


org.apache.hadoop.ha.ZKFailoverController( 简称ZKFC), org.apache.hadoop.ha.HealthMonitor(简称HM), org.apache.hadoop.ha.ActiveStandbyElector（简称Elector）

两个NN启动时：
各自的HM 监测到各自的NN 状态发生变化，从State.INITIALIZING 转到State.SERVICE_HEALTHY 触发了ZKFC的org.apache.hadoop.ha.ZKFailoverController#recheckElectability函数，ZKFC 让Elector 执行org.apache.hadoop.ha.ActiveStandbyElector#joinElection函数参与选举，在joinElection函数中，Elector 要创建znode ，
其znode path 为zkLockFilePath,该znode类型为EPHEMERAL（临时类型）。并将自己(ELector)注册为zookeeper的watcher, 之后在org.apache.hadoop.ha.ActiveStandbyElector#processResult接收到事件。在这个函数里 决定了哪个NN 成为activeNameNode, 哪个NN 成为standby NameNode. 判断依据就是谁先创建了 zkLockFilePath znode, 谁就 becomeActive。另一个就becomeStandby
 具体代码：

最低0.47元/天 解锁文章
kellyzly
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【精】HDFS的HA系列（三）--- 启动ZKFC初始化zookeeper以及相关回调函数
Badme
01-10 1520
【精】HDFS的HA系列（三）--- 启动ZKFC初始化zookeeper以及相关回调函数
HDFS HA 之 HA 原理
最新发布
qwerty1372431588的博客
01-31 220
ZKFC(ZK Failover Controller) 是HA热切换的主要实现者。当工作时，与Namenode（主要是Active和Standby节点）一对一搭配合作。ZKFC的默认实现者是DFSZKFailoverController，运行时需要独立开启一个JVM进程，并且需要和Namenode位于同一节点，这样做的好处是能够“近距离”了解Namenode的健康状态。ZKFC主要由以下几个部分组成。
NameNode HA自动Failover设计文档（HDFS-3042/HDFS-2185：Automatic failover support for NN HA）
chenpingbupt的专栏
08-29 5504
ZKFC设计文档（ZK Failover Controller Design） chenpingbupt@gmail.com 转载请注明来自本空间：http://blog.csdn.net/chenpingbupt 原文请参： https://issues.apache.org/jira/browse/HDFS-3042 https://issues.apache
hdfs-zkfc原理分析
breakout_alex的博客
06-20 843
目录： 1.基本原理 2.运行机制 一.基本原理： 1.1简单介绍 ZooKeeperFailoverController ：hadoop中通过ZK实现FC功能的一个实用工具。 功能：作为一个ZK集群的客户端，用来监控NN的状态信息，每个运行NN的节点必须要运行一个zkfc 进程； zk的基本特性： (1) 可靠存储小量数据且提供强一致性 (2) ephemeral node（...
ZKFC的工作原理
qq_45700756的博客
04-23 1764
ZKFC的工作原理 ZKFC（是一个进程，和NN在同一个物理节点上）有两只手，分别拽着NN和Zookeeper。(监控NameNode健康状态，并向Zookeeper注册NameNode)；集群一启动，2个NN谁是Active？谁又是Standby呢？ 2个zkfc先判断自己的NN是否健康，如果健康，2个zkfc会向zoopkeeper集群抢着创建一个节点，结果就是只有1个会最终创建成功，从而决定active地位和standby位置。如果ZKFC1抢到了节点，ZKFC2没有抢到，ZKFC2也会监控watch
zkfc是什么
followmezpf的博客
10-08 689
是指 "ZooKeeper Failover Controller"，它是 Hadoop 高可用性（High Availability，HA）特性的一部分。的主要目标是监视和管理 Hadoop 的 NameNode 服务的高可用性，以确保 Hadoop 集群的稳定性和可靠性。在 Hadoop 中，
HDFS ZKFC自动切换原理分析
走在前往架构师的路上
11-13 1万+
前言Hadoop社区在HDFS-1623（High Availability Framework for HDFS NN）以及相关JIRA中对NameNode增加了高可用性的支持。但是它的实现需要依赖管理员手动切换NameNode，以此来触发NameNode的切换。这种操作方式有时会带来一些问题，比如说一个NameNode因为非主观原因导致异常，挂了，这个时候怎么办，这个时候我们可能更需要自动切换的
HDFS HA架构
weixin_38729343的博客
08-18 493
一、HDFS的HA架构 官方站点：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 1、HA具备的作用 HA指的是：HA(High Available)，高可用性集群，保证业务连续性，实现业务不中断 一般有两个或两个以上的节点，且分为活动节点及备...
ZKFC 详解
wz_TXWY的博客
08-20 5191
基本概念 zkfc是什么？ZooKeeperFailoverController 它是什么？是Hadoop中通过ZK实现FC功能的一个实用工具。 主要作用：作为一个ZK集群的客户端，用来监控NN的状态信息,主备NN的切换 谁会用它？每个运行NN的节点必须要运行一个zkfc 有啥功能？ 1.Health monitoring (健康监测) 对NN的健康监测 zkfc定期对本地的NN发起heal...
HDFS高可用（HA）之ZKFC详解
热门推荐
欲问君有几多愁的博客
03-13 1万+
对于NameNode的高可用可以简单分为共享editLog机制和ZKFC对NameNode状态的控制。有关共享editlog机制已经在上篇文章做了详述，感兴趣的朋友可以去看看。 这篇文章的重点放在ZKFC对于Namenode的控制上。 部署示意图 FC是要和NN一一对应的，两个NN就要部署两个FC。它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上...
hadoop集群中zkfc的作用和工作过程
小爷欣欣
05-03 8305
作用：（1）健康检测：zkfc会周期性的向它监控的namenode（只有namenode才有zkfc进程，并且每个namenode各一个）发生健康探测命令，从而鉴定某个namenode是否处于正常工作状态，如果机器宕机，心跳失败，那么zkfc就会标记它处于不健康的状态；（2）会话管理：如果namenode是健康的，zkfc机会保持在zookeeper中保持一个打开的会话，如果namenode是ac...
【HDFS篇】基于HA的hadoop集群分析及搭建（ZK+zkfc）
chenshi_2753的博客
01-29 3844
简介: Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题 NameNode单点故障，难以应用于在线场景 HA NameNode压力过大，且内存受限，影扩展性 F MapReduce存在的问题响系统 JobTracker访问压力大，影响系统扩展性 难以支持除MapReduce之外的计算框架，比如Spark、Storm HD
【大数据Hadoop】HDFS-HA模式下ZKFC(DFSZKFailoverController)高可用主备切换机制
如切如磋，如琢如磨，臻于至善。
03-26 2609
当一个NameNode被成功切换为Active状态时，它会在ZK内部创建一个临时的znode，在znode中将会保留当前Active NameNode的一些信息，比如主机名等等。当Active NameNode出现失败或连接超时的情况下，监控程序会将ZK上对应的临时znode进行删除，znode的删除事件会主动触发到下一次的Active NamNode的选择。根据检测出的不同状态之后，会调用enterState方法，在这个方法内部会触发相应状态的回调事件。这2个方法会在HDFS HA自动切换最后被调用。
HDFS-HA的配置-----自动Failover（ZKFC）
小小八卦姐的专栏
11-03 6948
转载于http://blog.csdn.net/chenpingbupt  http://www.wuzesheng.com/?p=2475 1、概述     在手动FailOver的基础上，自动Failover增加了两个东西：一个是ZooKeeper集群，一个是ZKFailoverController(简称：ZKFC) ZK集群： 作为一个高可靠系统，能够为一小部分
ZKFC原理解析
王小禾
02-03 1218
本文参考自：HDFS高可用（HA）之ZKFC详解 Zookeeper 只需要用3台机器启动zookeeper集群即可。无特殊之处。见：zookeeper服务配置及启动 ，ZK本文不阐述。 ZKFC（ZKFailoverController）用于对NameNode状态进行控制 。 FC是要和NN一一对应的，两个NN就要部署两个FC。它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利，因为.
HDFS ZKFC实现NameNode自动切换原理
程裕强的专栏
12-18 4844
官方文档： https://issues.apache.org/jira/secure/attachment/12521279/zkfc-design.pdf当一个NameNode被成功切换为Active状态时，它会在ZK内部创建一个临时的znode，在znode中将会保留当前Active NameNode的一些信息，比如主机名等等。当Active NameNode出现失败或连接超时的情况下，监
【HDFS篇】完全分布式基于HA搭建HDFS集群(ZK+ZKFC+JN）
chenshi_2753的博客
02-02 1341
原理解释：//TODO: 搭建过程记录： 主要2大步，搭建zookeeper和配置HDFS 1.先搭建zookeeper 配置3台机器，先配置好一台然后分发到不同的机器上。 解压完先配环境变量。 vi /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_67 export HADOOP_PREFIX=/opt/jw/hadoop-
2021-06-28 zookeeper的防止脑裂组件zkfc
技术之路
06-28 690
摘要: 说明zkfc的思想, 评估其设计的优劣 zkfc说明: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html The ZKFailoverController (ZKFC) is a new component which is a ZooKeeper client which also monitors and manages the
hdfs zkfc -formatzk失败
06-28
ZKFC是一个Hadoop高可用性（HA）架构的组件之一，它用于控制Hadoop NameNode的故障转移。如果hdfs zkfc -formatzk命令执行失败，可能会出现以下一些原因： 1. ZooKeeper集合配置错误：如果Hadoop配置文件中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值