【HDFS】DatanodeAdminBackoffMonitor退役节点极慢的问题定位

叹了口丶气

于 2024-03-20 11:18:56 发布

阅读量191

点赞数

分类专栏： HDFS全方位实战文章标签： hdfs hadoop 大数据

本文链接：https://blog.csdn.net/yexiguafu/article/details/136842645

版权

HDFS全方位实战专栏收录该内容

176 篇文章 156 订阅 ¥29.90 ¥99.00

订阅专栏

博客主要描述了在HDFS中退役节点过程出现速度异常缓慢的问题。10台节点退役60万个块，3小时仅完成3000多个。NN日志显示30秒内仅退役少量块，同时发现DN中大部分节点的XmitsInProgress线程数为0。问题定位涉及Balancer，其操作导致pendingReplication队列受影响，所有transfer命令指向同一节点。解决方案包括暂停Balancer、切换主节点恢复退役速度以及重启原主节点清除复制块队列信息。

摘要由CSDN通过智能技术生成

一、现象：

下节点特别慢。10台节点，每台大约需要退役60w个块。但是3个小时才退役了3000多个块。

NN侧如下日志，可以看到30秒只退役了512-494 = 20个块，这要是退役600w个块，得猴年马月？

2024-03-19 14:44:42,952 INFO org.apache.hadoop.hdfs.server.blockmanagement.DatanodeAdminBackoffMonitor: There are 10000 blocks pending replication and the limit is 10000. A further 6174331 blocks are waiting to be processed. The replication queue currently has 112518 blocks

2024-03-19 14:45:12,972 INFO org.apache.hadoop.hdfs.server.blockmanagement.DatanodeAdminBackoffMonitor: There are 10000 blocks pending replication and the limit is 10000. A further 6174331 blocks are waiting to be processed. The replication queue currently has 112494 blocks

NN监控里，也

了解本专栏