【故障排查】DataNode进程占用大量CPU，导致服务器夯死

最新推荐文章于 2022-08-26 21:45:31 发布
最新推荐文章于 2022-08-26 21:45:31 发布
阅读量2.3k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cangencong/article/details/72916722
版权

故障现场：Hadoop集群某台机器cpu、内存均占用100%，其中cpu的sys_cpu指标非常高；最高峰达到100%，根据当时捕捉的现场TOP出来的数据可以看到，datanode进程占用cpu1124%。


故障分析：通过排查datanode log，namenode log，均未发现有什么异常。但在排查过程中，看到有某司遇到过类似问题，由于没有捕捉当时的datanode的jstack，所以暂时没有论证是否是一个问题，但是排查重心转移到了“大页内存”相关的问题上


参考文献：http://www.ghostar.org/2015/02/transparent-huge-pages-on-hadoop-makes-me-sad/

草根聪
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
内存管理——分页分段
weixin_40460171的博客
10-03 378
目录虚拟内存内存分段内存分页 操作系统知识脑图 虚拟内存 问题：单片机的CPU直接操作内存的【物理地址】，在这种情况下，内存中无法同时运行两个程序。假设程序A在200写入一个新值，就会擦掉程序B存放在相同位置上的所有内容。操作系统如何解决这个问题？ 解：引入虚拟内存。即让操作系统为每个进程分配独立的一套【虚拟地址】，如果程序访问虚拟地址时，由操作系统转换成不同的物理地址，这样不同程序运行，写入的是不同的物理地址，冲突解决了。 问题：操作系统如何管理虚拟地址与物理地址之间的关系？ 解：主要有两
hdfs某台服务器datanode服务占用cpu过高
wyl9527的博客
08-28 2408
1、问题描述 查看一下6834的进程是hadoop的datanode服务，可以看到cpu负载过高。2、解决方法（1） 关闭大页内存：echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag && echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
LINUX内核专题——内存管理
张飞online博客
05-17 516
LINUX内核专题——内存管理
一个内存碎片化导致系统SYS CPU利用率过高问题分析
lonely_geek的博客
10-22 1769
1、场景描述 生产机器pg_update升级进程完成后，调用postgres多进程进行SQL压测，发现性能大幅下降，SYS CPU占用很高 2、问题分析 1）机器共2个NODE节点，postgres基本都是跑在NODE1上，跑到后期，出现严重内存占用不均匀，NODE1上内存基本耗尽，NODE0还有不少内存。查看NUMA分配策略： 策略为默认策略，preferr...
datanode节点的cpu对impala性能影响
lurnagao的博客
06-19 183
实测，datanode节点cpu核数越多，impala执行越快，分析得到扫描hdfs的时间减少了，请问扫描hdfs时间和datanode的cpu核数有什么关系？
启动Hadoop后 没有DataNode进程 的解决方法
最新发布
09-30
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解！
Hadoop集群datanode磁盘不均衡的解决方案
01-29
Hadoop的HDFS集群非常容易...因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与
硬盘故障导致mr任务报Failed to create directory错误及硬盘故障定位方法.docx
09-04
2. **Linux系统日志分析**：对于更深入的故障排查，可以查看Linux系统的日志文件。例如，`/var/log/messages`是系统事件记录的重要来源。通过命令`cat /var/log/messages |grep 'kernel'|egrep -i 'error|fail|...
hadoop client与datanode的通信协议分析
09-05
在Hadoop分布式文件系统(HDFS)中，客户端与DataNode之间的通信是系统高效运行的关键环节。本文主要关注Hadoop客户端在读写Block时的工作流程，以及客户端与DataNode通信的协议和数据流格式。 首先，当客户端需要...
Hadoop中datanode故障问题
很吵请安静
02-12 2860
当向datanode写数据的过程中发现datanode存在故障时，namenode会重新分配一个datanode个pipline进行写操作，这个datanode如果故障了，这上面的block没有了，其他datanode上还有这个block的备份，不过现在该block在系统中的总备份数为2,（坏了一个），下次hdfs使到该块时，会检测到该块的备份数为2，会重新备份让replication数达到3...
hadoop中NameNode节点CPU使用量高 解决方案（亲测）
qq_30498935的博客
08-23 4800
集群中任务执行超慢，查原因 top一下 查看19118进程  发现这个节点是NameNode节点 然后 ps aux |grep 19118 jstat -gcutil 19118 1000 1000查看jvm GC GC超高 问题就是namenode负载太高，内存不够用导致CPU飙升 解决方案调整hadoop_namenode_heapsize参数调到16G（按照集群情...
Hadoop EC 踩坑 ：data block 缺失导致的 HDFS 传输速率下降
weixin_30820151的博客
06-25 156
环境：hadoop-3.0.2 + 11 机集群 + RS-6-3-1024K 的EC策略 状况：某天，往 HDFS 上日常 put 业务数据时，发现传输速率严重下降 分析： 检查集群发现，在之前的传输中，发生过个别 datanode 临时不可用的状况。 而由于 hadoop EC 机制，当失效 datanode 小于容忍值 （这里是3），put 等传输任务仍然成功。但 hadoop ...
distcp解决HDFS部分Datanode空间占用率高的问题
mnasd的博客
07-13 1801
官方文档：http://hadoop.apache.org/docs/r1.2.1/distcp.html1.确定要distcp的目录Hadoop集群一般是逐步扩容的， 对于老的静态数据就会集中存储在老的Datanode上，导致老的Datanode的空间占用率很高。找出陈旧的静态数据目录使用distcp命令拷贝到新目录是一种“安全”的做法。找出陈旧的静态数据目录的标准：目录创建时间和里面内容的最后...
Hadoop集群占用系统态Cpu较高问题解决
骑猪喝咖啡
05-04 5454
Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官方也推荐关闭THP。 echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
hadoop集群System Cpu消耗过高问题分析--内存碎片整合问题
lin_FS的专栏
06-21 4089
Hadoop集群服务器升级为rhel6内核后，System Cpu占用非常高，有任务运行的时候经常到50%以上。对其中一台机器一天的运行状态采样的数据： idle: 76%   sys:14%  user: 9% 从采样数据中，可以发现System Cpu比User Cpu还要高，这在Hadoop集群环境中很不寻常。 先简单地用strace看了一下占用cpu高的java程序经常去调哪些系统调
云主机夯死故障分析
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
08-26 1440
而其父进程很可能会用到这些信息，实际内核中已经建立了从pid到task_struct查找关系，还有进程间的父子关系，父进程可以通过wait系列的系统调用（如wait4、waitid）来等待某个或某些子进程的退出，并获取它的退出信息。，一般由IO引起，同步IO在做读或写操作时，cpu不能做其它事情，只能等待，依赖于它的进程也会因为等待它而阻塞，此状态的进程不会消耗CPU。来实现的，khungtaskd监控TASK_UNINTERRUPTIBLE状态的进程，如果在120s周期内没有切换，就会打印详细信息。...
HDFS DataNode堆内存使用率过高，HDFS存储量不够导致宕机
qq_35583154的博客
04-03 5711
今天来公司发现hadoop集群出现了HDFS DataNode堆内存使用率超过阈值的告警，然后查看集群各个节点的状态发现有一个数据节点宕机了，经过一上午的处理我来聊聊解决的几个方法： 目录： 1、将HDFS备份数降低 2、删除无用HDFS数据和Hbase表格 3、设置kafka的日志时间 4、删除本机无用文件 5、清理Trash回收站 6、Balancer重新平衡 1、将备份数降低 1）将默认的备...
Hadoop性能调优、YARN的内存和CPU配置
qq_41641810的博客
02-27 659
<main>         <div class="blog-content-box">     <div class="article-header-box">         <div class="article-header">             <div class="article-title-
hadoop集群的datanode负载高问题的排查过程记录
weixin_34150224的博客
06-20 863
为什么80%的码农都做不了架构师？>>> ...
没有DataNode进程
06-07
如果启动HDFS服务时，没有出现DataNode进程，可能有以下几种原因： 1. 检查Hadoop配置文件中的`dfs.datanode.data.dir`参数是否正确设置。该参数指定DataNode存储数据的目录，如果该目录不存在或者没有权限写入该目录，则DataNode无法启动。可以通过以下命令查看该参数的值： ``` grep dfs.datanode.data.dir $HADOOP_HOME/etc/hadoop/hdfs-site.xml ``` 其中，`$HADOOP_HOME`是Hadoop的安装目录。 2. 检查DataNode日志文件，查看是否有错误信息。DataNode的日志文件通常位于`$HADOOP_HOME/logs/hadoop-$USER-datanode-$HOSTNAME.log`，可以使用以下命令查看该日志文件的内容： ``` tail -f $HADOOP_HOME/logs/hadoop-$USER-datanode-$HOSTNAME.log ``` 3. 如果DataNode节点和NameNode节点不在同一台机器上，还需要检查防火墙设置是否正确。确保NameNode节点的TCP端口（默认为8020）和DataNode节点的TCP端口（默认为50010）是开放的。 如果以上方法都无法解决问题，可以尝试重新启动HDFS服务，或者查看Hadoop的官方文档和社区论坛，了解其他可能的解决方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值