Hadoop HA 集群无法进行自动故障转移(Standby =＞ Active)的解决办法（ConnectionRefuse）

最新推荐文章于 2023-02-13 21:50:22 发布
最新推荐文章于 2023-02-13 21:50:22 发布
阅读量1k 收藏 5
点赞数 1
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_48379126/article/details/120644330
版权

在学习 HA 自动化配置，按照hadoop官网进行配置，最后所有的节点都启动正常

但我们在进行故障测试 kill 掉Active状态的NameNode后，其他Standby状态的NameNode无法转换成Active状态

我们知道Standby状态节点中zookepper客户端的zkfc进程一直在监视这Active状态下的节点，而一旦后者出现故障，且后者中的zkfc进程断开了与zookepper服务端的session，此时Standby状态节点中的zkfc进程就会去抢占zookepper服务端，并且会通过ssh杀死故障节点中的NameNode

下图是web中的日志包的错误 —— ConnectionRefuse，我们要首先想到是不是ssh免密配置的问题，是否配置了Standby状态节点免密登录到Active状态节点，如诺不是，请看后面的解决方案

虽然如下图我们在hdfs-site.xml 中已经配置过相关配置，但是因为没有 fuster 程序，导致无法进行 fence

 

 解决方法：在每个机器上安装包含fuster程序的软件包Psmisc

xcall yum -y install psmisc

笑面天下
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
HADOOP高可用集群搭建，实现两个namenode之间active和standby的转换
共享，共进步
07-07 2388
HADOOP高可用集群搭建，实现两个namenode之间active和standby的转换 一，重点配置hadoop下的配置文件 core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "Lic
第6章-Hadoop HA集群启动.pdf
05-19
【Hadoop HA 集群启动详解】 Hadoop 高可用性（High Availability, HA）是确保关键服务如 NameNode 和 ResourceManager 不会因为单点故障而中断的关键特性。本章节将详细阐述如何启动一个配置了 HA 的 Hadoop 集群...
HADOOP HA集群不能完成故障转移
help_child的博客
02-13 256
使用kill -9 杀死namenode进程，模拟JVM崩溃。另一个NameNode应在几秒钟内自动变为活动状态。检测故障并触发故障转移所需的时间取决于ha.zookeeper.session-timeout.ms的配置，默认值为5秒。通过如下命令来安装，Psmisc软件包中包含了fuser程序（namenode所在主机上上都需要进行安装）另外一个namenode并没有从stanby状态变为active状态。检查zkfc守护程序以及NameNode守护程序的日志。安装完成后重启集群。
hadoopHA(高可用)namenode节点配置故障自动转移失败
盖世英雄来了
04-03 1791
在配置ha高可用的配置中，按照网上博客教程配置hdfs的故障自动转移失败， 举例来说：bigdata1和bigdata2这两个namenode节点 配置完成后，将bigdata1设置为active bigdata2设置为standby 然后用kill -9 xxxx杀死bigdata1的进程，发现，bigdata2并没有自动转换成active，依然是standby 查看...
hadoop HA standby无法切换为active
qq_40727267的博客
01-14 1998
将active namenode杀死，standby namenode进程无法自动切换为active状态，查看hadoop-hdfs-zkfc-ha-master01.log，出现如下错误信息 2020-01-14 01:07:58,346 ERROR org.apache.hadoop.ha.NodeFencer: Unable to fence service by any configure...
高可用hadoop集群搭建
dontlikerabbit的博客
03-21 416
准备工作 安装3台centos7 服务器 配置主机名字hd01\hd02\hd03 hostnamectl set-hostname hd01 查询地址 ip addr 连接xshell：填写名称:hostname 主机：ip地址 用户身份验证 可以向xshell窗口拖拽文件： yum -y install lrzsz hostname和ip地址形成映射： vi /etc/hosts 192.168.181.131 hd01 192.168.181.132 hd02 192.168.18
Hadoop2.7.0集群的NameNode在HA下如何切换active和standby状态
qq_39142369的博客
05-22 4172
https://blog.csdn.net/Meiyang1990/article/details/74521951 1、笔者所在公司的开发环境搭建了一个hadoop集群，为保证HDFS的高可用，配置了NameNode的HA模式 ， 10.17.2.134 为active ，10.17.2.121为standby 2、笔者平时训练写的很多mapreduce程序，指定...
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
我们将在完全分布式集群的基础上完成HA集群的配置。 Hadoop HA 集群 - 服务器角色规划 Master （IP：192.168.128.128） Slave1 （IP：192.168.128.129） Slave2 （IP：192.168.128.130） NameNode（Active） ...
Hadoop HA(QJM)高可集群性配置
09-22
基于Journnode的Hadoop Master节点主备自动切换。
Hadoop HA(NFS)高可集群性主备配置.pdf
11-23
Hadoop 高可用集群性主备配置是指在 HDFS 中实现高可用性（HA）的配置方法，以解决 NameNode 的单点故障问题。HA 配置通过配置 Active/Standby 两个 NameNodes 实现 NameNode 的热备，确保集群的可用性。 高可用性...
Hadoop集群高可用的搭建
05-31
HDFS-HA的核心问题是确保数据一致性、主动/备用NameNode的切换以及故障自动转移。在手动模式下，NameNode的角色分配是手动进行的，而在自动模式下，通过ZooKeeper和JournalNode等组件实现NameNode的选举和故障切换。...
HDFS-HA自动故障转移失效
weixin_38023225的博客
09-26 840
1 集群配置与规划 HDFS-HA自动故障转移配置参考：https://blog.csdn.net/weixin_38023225/article/details/101346493 集群规划 master-node slave-node1 slave-node2 NameNode JournalNode DataNode ZK ...
hdfs（一）高可用单NameNode从standby恢复为active
Interest1_wyt的博客
01-22 1799
hdfs ha集群中，通过新增namenode节点解决单namenode损坏导致集群处于standby状态问题
Hadoop HA集群 NameNode 无法自动故障转移（切换active）两个集群状态都是standby
w11864882596的博客
08-13 977
问题：用 kill -9 进程号 杀死了当前处于active状态的NameNode后，其他的 Standby 状态的NameNode 并没有自动切换为 Active状态，而且重启杀死的 NameNode 后，可能出现所有NameNode节点都变成了 Standby状态的情况，一个Active状态的都没有。 1.在hdfs.site.xml中找sshfence的配置 加入 sshfence shell(/bin/true) /bin/true shell 脚本说明 /bin/true 是 linux 系统自带
hdfs（二）高可用单NameNode从standby恢复为active
Interest1_wyt的博客
01-22 2264
将高可用hdfs ha降为单namenode可行。如果两个namenode有一个不能用了，紧急情况下就可以通过修改配置的方式将hdfs降低为单namenode的集群继续进行工作。
hadoop namenode启动不了_0790-5.16.2-NameNode服务的edits不同步异常
weixin_39757265的博客
11-28 397
问题描述启动NameNode时候出现下面异常信息，启动失败Encounteredexceptionloadingfsimagejava.io.IOException:Thereappearstobeagapintheeditlog.Weexpectedtxid2638640356,butgottxid2638864045.atorg.apache.h...
在搭建好Hadoop集群后，namenode与datanode两个过程不能起来，或者一个启动之后另一个自动关闭
基咯咯
01-26 2711
故障现像：     此故障可以算是在换电脑搭集群后最多的故障了，首先是从节点上相关进程都没起来，后来又是进程起来后从节点上datanode节点没起来，最后是datanode进程起来之后，主节点上namenode进程又没起来。此故障看起来一波三折，实际上在理解好相关原理后，解决起来要比第一个故障轻松一些。 解决思路：     原理为先：首先要找到对应关系，主节点上nam
Hadoop HA集群 NameNode 无法自动故障转移（切换active）
为了更好的未来_加油
05-07 876
在学习 HA 自动化配置，按照hadoop官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 配置，最后所有的节点都启动正常。 用 kill -9 进程号 杀死了当前处于active状态的NameNode后，其他的 Standby 状态的NameNode 并没有自动切换为 Active状态，而且重启杀死的 NameNode 后，可能出现所有NameN
hadoop HA 集群namenode无法自动切换为active
Data & Analysis
05-18 2150
今天在学习HA自动化配置的时候，按照网上的教程去配置并启动HA即两台namenode后，看到一台为active模式，一台为standby模式，并且文件也可以正常写入。在做测试时，用 kill -9 端口号 杀死active的namenode后，standby的namenode并没有自动启动。 检查配置文件确保无误后，重启集群，发现依然无果。 查看logs->hadoop-root-zkfc-...
hadoop HA分布式安装
最新发布
10-14
对于Hadoop的HA分布式安装，可以按照以下步骤进行： 1. 配置Hadoop的core-site.xml文件，设置fs.defaultFS属性为hdfs://nameservice1，其中nameservice1为Hadoop集群的逻辑名称。 2. 配置Hadoop的hdfs-site.xml文件，设置如下属性： - dfs.nameservices：设置为nameservice1。 - dfs.ha.namenodes.nameservice1：设置为namenode1,namenode2，其中namenode1和namenode2为两个NameNode节点的名称。 - dfs.namenode.rpc-address.nameservice1.namenode1：设置为第一个NameNode节点的RPC地址。 - dfs.namenode.rpc-address.nameservice1.namenode2：设置为第二个NameNode节点的RPC地址。 - dfs.client.failover.proxy.provider.nameservice1：设置为org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider。 3. 配置每个NameNode节点的hdfs-site.xml文件，设置如下属性： - dfs.namenode.shared.edits.dir：设置为一个共享的编辑日志目录，例如qjournal://node1:8485;node2:8485;node3:8485/mycluster。 - dfs.journalnode.edits.dir：设置为每个JournalNode节点的编辑日志目录，例如/data/journal。 4. 启动JournalNode节点。 5. 格式化HDFS文件系统，使用命令hdfs namenode -format。 6. 启动NameNode节点，使用命令hadoop-daemon.sh start namenode。 7. 启动DataNode节点，使用命令hadoop-daemon.sh start datanode。 8. 启动ZooKeeper服务，使用命令zkServer.sh start。 9. 启动自动故障转移代理，使用命令hadoop-daemon.sh start zkfc。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值