网络超时导致namenode被kill的定位

已于 2023-07-24 08:50:21 修改
阅读量367 收藏
点赞数
分类专栏： 服务器 大数据 网络 文章标签： 网络
于 2023-07-23 21:41:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shy_snow/article/details/131800128
版权
大数据 同时被 3 个专栏收录
33 篇文章 1 订阅
订阅专栏
服务器
27 篇文章 0 订阅
订阅专栏
网络
9 篇文章 0 订阅
订阅专栏

交换机升级导致部分网络通信超时, 集群的namenode主从切换后,主namenode进程被杀死。
网络问题导致namenode与zk间的连接超时触发了hadoop集群的防脑裂机制而主动kill掉了超时的namenode进程。
在这里插入图片描述
日志分析发现zk和namenode之间的网络连接超时:
在这里插入图片描述
超时触发了namenode切换,并将超时的active状态的namenode杀掉来防止集群脑裂。查看日志发现namenode切换为active之前为了防止集群脑裂,主动ssh到原来的namenode集群上把namenode端口杀掉了。 日志如下：
在这里插入图片描述
集群就直接ssh到强制kill原namenode进程
在这里插入图片描述

shy_snow
关注
专栏目录
解决启动HA后kill掉Namenode进程但另一节点仍然是Standby状态
ZhouQiYoung的博客
01-14 1275
继续踩坑 先说一段题外话： 配置高可用HDFS的时候 针对zookeeper配置hadoop的core-site文件的时候，一些资料是使用的是 <property> <name>ha.ZooKeeper.quorum</name> <value>master:2181,slave:2181,slave2:2181</value> </property> 配置完成之后死活zookeeper启动不了，查看日志说找不到“ha.zook
解决NameNode写Journalnode超时，导致NameNode挂掉问题(Timed out waiting 20000ms for a quorm of nodes to respond)
weixin_44976835的博客
08-23 1650
日志问题如上 可以发现，NameNode在写Journalnode发生了超时，默认超时时间为20s，在超时发生后，Namenode会触发ExitUtil类的terminate方法，导致进程的System.exit()。 触发写入超时的原因可能是因为执行了较大文件的HDFS操作，导致Namenode的FULL GC时间较长，所以导致写Journalnode超时。 如果发生这种情况，就需要把默认的20s改成更大的值 这里可以改为60000ms <property> <name.
namenode由于jn写入超时异常
悦上心灵的博客
02-05 247
namenode由于jn写入超时异常
杀死某个名称的进程
pengwupeng2008的专栏
01-27 434
linux shell killprocess   2011-05-18 17:31:48|  分类： Linux 字号 chmod 777 killprocess chmod 777 run_commad killprocess file #!/bin/sh NAME=$1 echo $NAME ID=`ps -ef | grep "
namenode掉了？亲测有用！！
最新发布
qq_61847352的博客
01-14 438
解决namenode掉进程问题解答！
HDFS——Namenode的HA机制
hncscwc的博客
03-16 1517
【整体设计】NN（Namenode）的HA机制主要依靠zkfc完成，zkfc在NN所在节点以独立进程的方式运行。其内部主要由主控模块（ZKFailoverController）、健康检测模...
Hadoop HDFS（NameNode、DataNode和HA高可用）
sjjsaaaa的博客
05-21 1406
一、NameNode和SecondaryNameNode（面试开发重点） 1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 NN和2NN工作机制 1.第一阶段：NameNode启动 第一次启动NameNode格式化后，创建Fsimage和Ed
Hadoop NameNode 高可用实现源码分析
农村外出务工男的博客
03-20 1616
一、NameNode的单节点问题      在hadoop1.x版本中,我们知道HDFS架构中的NameNode节点存在单点问题,一旦NameNode节点宕机了,整个HDFS集群将不可用，因为NameNode保存了整个HDFS的元数据信息。不过在Hadoop2.x版本解决了单点问题,下面我们结合源代码来分析其具体实现。二、NameNode的高可用架构  先上一张图片(来源于网络)     从上图可...
Hadoop3.2.1 HA 高可用集群的搭建（基于Zookeeper，NameNode高可用+Yarn高可用）
weixin_43311978的博客
05-14 2443
hadoop集群已安装并配置好 节点个数一般为奇数个 我这里三台机 hostname ip 启动的进程 Master 192.168.150.141 Worker1 192.168.150.142 Worker2 192.168.150.143 一、安装ZooKeeper 先只在一台机器上下载安装并配置好 zookeeper 后，再将配置好的 zookeeper 传给其他节点 1、下载ZooKeeper Apache ZooKeeper 官网：https://zookeep
《 HA 》--实现namenode的高可用性（手动和自动）
yk_3215123的博客
06-04 539
HA:集群的高可用(与集群的高可靠的区别)： 1.问题：集群的Namenode存在单点故障 2.解决方式： a.使用Quorum Journal Manager的HDFS高可用性 b.使用NFS的高可用性 3.影响可用性的两个主要方面 a.计划外事件（例如计算机宕机) b.计划内事件（如NameNode计算机上的软件或硬件升级）将导...
记录一次小小的namenode挂掉
qq_44028464的博客
11-30 866
为了演示SecondaryNameNode是如何恢复namenode的 第一步 当然是直接用法kill -9 NameNode进程号意外结束namenode进程 第二步. 进入namenode里面的/home/whzy/hadoopdata/dfs/name 这个目录 rm -rf name/* 删除name里面所有数据 表示namenode数据丢失 第三步 进入salve1主机(里面配置了s...
学习Hadoop
wddd12344的博客
08-26 607
初学hadoop的自我笔记
9 HadoopHA
stable_zl的博客
08-17 168
一、背景 ​ 在Hadoop集群中，NameNode是唯一负责存储元数据到数据块的映射的，如果NameNode挂掉，那么hdfs将不能使用，所以为了保证集群的可靠性，Hadoop2.0中提出了高可用的概念 二、原理 2.1 高可用原理 设置两个NameNode，一个正常工作(active)，另一个充当active的热备(standby) active的namenode把edits的修改写入到日志管理器 (QJM，quorum journal manager) 中 standby的namenode
hadoop ha模式下，kill active的namenode节点后，standby的namenode节点没能自动启动
fang.lovest.yang的博客
01-03 4778
一、背景      在Hadoop HA模式下，如果直接kill掉active namenode，standby namenode没有自动切换到active状态。 二、问题解决步骤      1. 查看hadoop安装目录下 etc/hadoop/hadoop-root-zkfc-fang16.hadoop.com.log ，关于zkfc的日志文件。发现如下问题：        由于在ac...
Zookeeper +Hadoop HA
m0_59737088的博客
07-13 470
1. zookeeper引言 简介 Apache ZooKeeper是Apache软件基金会的一个软件项目，大数据集群服务器的管理者协调者。 简言：ZK就是一个管理多个服务(集群分布式环境下)的通知机制 Watcher+文件系统 ZNode 文件系统：保存少量，服务器相关的配置文件信息。 Watcher 监听通知机制：注册监听服务器的上下线。 特点 zk集群中的数据内容，完全一致。 zk作为集群管理者，天生不存在单点问题。 zk的主机是动态选举出来的。 应用场景 2. 集群安装
HDFS-HA高可用 | Yarn-HA
weixin_30654583的博客
02-13 261
HDFS-HA HA（High Available），即高可用（7*24小时不中断服务） 单点故障即有一台机器挂了导致全部都挂了；HA就是解决单点故障，就是针对NameNode； 主Active：读写、从standby只读；所依赖的服务都必须是高可用的； 两种解决共享空间的方案：NFS、QJM（主流的） 奇数台机器；QJM跟zookeeper（数据全局一致；半数以上...
Namenode故障恢复
11-07 8165
Namenode元数据信息多目录配置 为了保证元数据的安全性，我们一般都是先确定好我们的磁盘挂载目录，将元数据的磁盘做RAID1 Namenode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。 具体配置如下： 文件名：hdfs-site.xml <property> <name>dfs.namenode.name.dir</name> &...
解决关闭Hadoop时no namenode to stop异常
weixin_33906657的博客
04-10 1011
为什么80%的码农都做不了架构师？>>> ...
Hadoop教程：NameNode与Secondary NameNode解析
“王家林的‘云计算分布式大数据Hadoop第九讲Hadoop图文训练课程：剖析NameNode和Secondary NameNode的工作机制和流程’是其‘云计算分布式大数据Hadoop实战高手之路’系列教程的一部分，旨在深入理解Hadoop的核心...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值