群集中有 66 个丢失块块。群集中共有 167,804 个块。百分比丢失块: 0.04%

summer089089

已于 2023-02-28 17:55:40 修改

阅读量642

点赞数

分类专栏： CDH 文章标签： hdfs hadoop big data

于 2022-06-16 10:17:53 首次发布

本文链接：https://blog.csdn.net/summer089089/article/details/125310300

版权

CDH 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了HDFS集群出现丢失块的问题，包括0.04%的块丢失率，分析了可能的原因，如物理磁盘损坏、网络拥堵等，并提供了检查和删除丢失块的命令，如`hdfs fsck`和`hdfs fsck-delete`，强调了不应直接使用`hdfs dfs-rm`来删除缺失块。同时，给出了参考文章链接以供深入研究。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.报错现象

群集中有 66 个丢失块块。群集中共有 167,804 个块。百分比丢失块: 0.04%

2.报错原因

集群报块丢失的原因很多，如物理磁盘损坏，节点不正常下线退役，集群高负载时如内存打满卡死，网络拥堵，系统本身问题等造成节点掉线，如cdh集群的agent和server失去联系，非正常下线，心跳超时等原因造成yarn界面出现块丢失现象

3.报错解决

检查缺失块

hdfs fsck /

检查确实块的详情

在这里插入图片描述

3. 删除某个不重要的缺失块

注意千万不要使用 hdfs dfs -rm 文件路径（手动删除，确实块数据并不改变，可以直接使用hdfs fsck -delete 删除所有缺失的块）

删除全部缺失或者损坏的块
hdfs fsck -delete  

删除某个缺失的块
hdfs fsck -delete  /user/root/.staging/job_1653704127175_27163/libjars/netty-3.10.6.Final.jar

参考文章