zookeeper hadoop-ha znode丢失导致hadoop不能failover的解决办法

最新推荐文章于 2023-08-31 18:41:55 发布
最新推荐文章于 2023-08-31 18:41:55 发布
阅读量1w 收藏 4
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/houzhizhen/article/details/44099825
版权

 今天系统维护，hdfs haadmin -failover nn1 nn2 失败。

用jps查看java进程，发现没有DFSZKFailoverController进程。

打开zkfc的日志，发现以下内容：

2015-03-06 14:24:38,262 FATAL org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller. Parent znode does not exist.
Run with -formatZK flag to initialize ZooKeeper.


原来zookeeper的结点找不到了。


进行验证：

zkCli.sh -server jn001.com

ls /

发现没有/hadoop-ha结点。


重新进入hadoop namenode服务器。

 /usr/local/hadoop/bin/hdfs zkfc -formatZK

然后在active namenode和stand by namenode上执行以下语句：

hadoop-daemon.sh start zkfc

hdfs haadmin -failover nn1 nn2

houzhizhen
关注
专栏目录
基于zookeeper的hadoop HA实现
everl_1的专栏
08-24 1万+
非HA集群的弊端 HDFS集群的分布式存储是靠namenode节点（namenode负责响应客户端请求）来实现。在非HA集群中一旦namenode宕机，虽然元数据不会丢失，但整个集群将无法对外提供服务，导致HDFS服务的可靠性不高。 HA机制 上述分析可知导致服务可靠性不高的原因是namenode节点宕机，那么怎么才能避免这个namenode节点宕机导
Zookeeper +Hadoop HA
m0_59737088的博客
07-13 450
1. zookeeper引言 简介 Apache ZooKeeper是Apache软件基金会的一个软件项目，大数据集群服务器的管理者协调者。 简言：ZK就是一个管理多个服务(集群分布式环境下)的通知机制 Watcher+文件系统 ZNode 文件系统：保存少量，服务器相关的配置文件信息。 Watcher 监听通知机制：注册监听服务器的上下线。 特点 zk集群中的数据内容，完全一致。 zk作为集群管理者，天生不存在单点问题。 zk的主机是动态选举出来的。 应用场景 2. 集群安装
基于Zookeeper搭建hadoop的HA功能
枣泥馅的博客
07-05 582
简介 使用zookeeper和Hadoop的FailOverController的心跳检测来维护hadoop，并在hadoop宕机的时候通过zookeeper选举功能进行Active的切换 并使用JournalNode来维护Namenode的日志和元信息 集群规划 Zookeeper集群： 192.168.112.112 （bigdata112） 192.168.112.113 （bigdata113） 192.168.112.114 （bigdata114） Hadoop集群： 192.168.112..
ERROR org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller.
weixin_41877582的博客
11-04 2193
用jps查看java进程，发现没有DFSZKFailoverController进程 格式化zk,在zookeeper上创建hadoop-ha节点（就是目录） hdfs zkfc -formatZK 启动zkfc（在所有namenode节点上） hadoop-daemon.sh start zkfc 刷新namenode，会自动选出active hdfs haadmin -failover nn1 nn2 https://blog.csdn.net/houzhizhen/article/details.
FATALha.ZKFailoverController:Automaticfailover is not enabled for NameNode at master/192 168 100 25:
miaotoull的博客
12-05 674
zk注册报错 故障转移未开启
启动ZKFC时报错ERROR org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller. Paren
最新发布
qq_53663722的博客
08-31 741
执行以下命令之前需要先把所有机器的zookeeper启动起来。按照报错日志提示在该机器上执行命令，
hadoop-hdfs-ha环境搭建与问题解决
一个小cookie的博客
07-25 408
阿森松岛
Hadoop-HA集群安装部署
RomanyK的博客
04-21 4242
HA高可用集群安装部署 两台主节点一台从节点（即一台active、一台standby，条件允许也可配多台standby）解决单点故障
基于zookeeper搭建Hadoop的HA高可用集群
qq_43634424的博客
01-10 1487
目录 一.准备工作 （一）.先配置一台机器作为模板，后面用于克隆 （二）.配置其他两台机器基础配置 （三）.ssh免密操作 二.配置集群 （一）.zookeeper集群配置(配置成功后需要拍快照) （二）.配置hadoop集群(配置完毕后拍快照) 一.准备工作 (这里用的这几个版本 apache-zookeeper-3.7.0-bin.tar.gz hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz ） （一）.先配置一...
HDFS和YARN的HA集群搭建（Hadoop-2.8.1+Zookeeper-3.4.6）
muyingmiao的专栏
08-20 803
一.软件版本 组件名称 版本 备注即下载地址 Centos 7.2 (Final) 64-bit lsb_release -a 命令查看操作系统版本 file /bin/ls 命令查看操作系统位数 JRE "1.8.0_45" http://www.360sdn.com/Linux/2014/0610/3568.html Hadoop ...
Failover Controller 启动失败
szh_61的博客
08-14 2649
平台：CDH 日志报错： FATAL org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller. Parent znode does not exist. 网上建议方法：hdfs zkfc -formatZK，参考链接：https://community.hortonworks.com/con...
Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
wangcx110的专栏
12-01 351
Hadoop 2.0 HA架构图： FC是要和NN一一对应的，两个NN就要部署两个FC。它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利，因为最多只有两个节点，目前选择策略还比较简单（先到先得，轮换）。 ZKFC是Hadoop中通过ZK实现FC功能的一个实用工具。 ZKFC
启动Hadoop时DFSZKFailoverController没有启动
qq_38304392的博客
08-10 769
在启动Hadoop成功后，并没有报错信息，jps查看进程，发现DFSZKFailoverController没有启动成功，后来发现是因为防火墙的原因，关掉重试就OK了 systemctl stop firewalld ...
hadoop HA (no zkfc to stop) DFSZKFailoverController进程没有启动
weixin_34396902的博客
06-09 3000
这个bug确实恶心的不要不要的。我一开始以为是我自己打开方式（毕竟不熟悉搭建流程，别人怎么做，我照着做） 我照着视频或者博客编写hdfs-site.xml(dfs.ha.fencing.methods) 但是一直再start-dfs.sh 后（DFSZKFailoverController进程没有启动） 在stop-dfs.sh后提示（no zkfc to stop） ...
Hadoop 自动故障转移
d_a_e_m_o_n的博客
02-27 825
场景 三节点二namenode情况下，一个namenode（nn1）挂掉，手工将另一个name提升为active节点报错：hdfs haadmin -transitionToActive nn2 21/02/27 00:24:16 INFO ipc.Client: Retrying connect to server: hadoop01/192.168.26.10:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCoun..
Hadoop 启动/停止集群和节点的命令
热门推荐
ThisIsNobody的博客
06-19 2万+
集群启动/停止Hadoop集群：start-all.sh    stop-all.sh1) 启动NameNode, DataNode2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failover ...
ZKFC报错：ZK Failover Controller failed: Received stat error from Zookeeper. code:CONNECTIONLOSS
u010410697的博客
07-06 1717
Namenode HA模式下，一个节点掉了，另外的节点不能正常被切换成Active，看zkfc的日志发现出现zookeeper连接超时的异常。 2020-07-04 10:32:06,356 INFO org.apache.zookeeper.ClientCnxn: Unable to read additional data from server sessionid 0x1019acb4933001f, likely server has closed socket, closing socket co
hadoop集群启动成功但live nodes为0
qq_52402444的博客
11-22 1462
看了很多的方法，也都试了试发现都不好使。感觉这个方法最简单要是没有什么重要文件可以直接进行，否则建议备份一下。1：直接把hadoop安装路径下tmp/dfs里面的文件删除（每个节点都要删除）3：删除logs文件夹里的所有文件和文件夹（这个好像问题不大）2：删除nm-local-dir文件夹。4:最后重新格式化集群。
Hadoop+Spark+Zookeeper高可用集群搭建（四）
RivenDong
09-04 1605
文章目录1. 前言2. 第一大坑之防火墙3. 第二大坑之格式化Zookeeper4. 集群的启动之吹起号角4.1 启动Zookeeper4.2 启动journalnode进程4.3 在master001中格式化NameNode4.4 传送tmp文件到其他所有节点4.5 启动hdfs4.6 启动MapReduce4.7 验证集群是否启动成功5. 正常启动顺序5.1 启动Zookeeper5.2 启动...
搭建Hadoop-2.5.2 HA集群详细步骤
"搭建Hadoop-2.5.2高可用(HA)集群的详细步骤" 在大数据处理领域，Hadoop是一个关键的开源框架，用于存储和处理海量数据。本文档将指导你如何构建一个包含7个节点的Hadoop大数据集群，该集群不仅包含Hadoop，还囊括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值