HDFS missing blocks的处理办法

最新推荐文章于 2023-10-07 20:08:34 发布
最新推荐文章于 2023-10-07 20:08:34 发布
阅读量8.8k 收藏 13
点赞数 1
分类专栏： Cloudera Hadoop 大数据 HDP Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Post_Yuan/article/details/103489879
版权

Hadoop集群中遇到了HDFS missing blocks的错误，处理办法如下：

  1. 切换到hdfs用户
su - hdfs
  1. 使用hadoop fsck命令检查坏的块
hadoop fsck /

输出示例如下 ，

...
/user/trafodion/.hiveStats/HIVE.DMA.DMA_ENTTYPE_STAT_ORC-1532663517555-NOSTRIPENUMROWSESTIMATE10: CORRUPT blockpool BP-175371422-172.26.130.198-1529452063491 block blk_1074702727

/user/trafodion/.hiveStats/HIVE.DMA.DMA_ENTTYPE_STAT_ORC-1532663517555-NOSTRIPENUMROWSESTIMATE10: MISSING 1 blocks of total size 2459 B.....................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
.......................................................................................Status: CORRUPT
 Total size:	1314013464630 B (Total open files size: 567 B)
 Total dirs:	2381988
 Total files:	291887
 Total symlinks:		0 (Files currently being written: 6)
 Total blocks (validated):	259824 (avg. block size 5057321 B) (Total open file blocks (not validated): 5)
  ********************************
  UNDER MIN REPL'D BLOCKS:	1 (3.8487592E-4 %)
  dfs.namenode.replication.min:	1
  CORRUPT FILES:	1
  MISSING BLOCKS:	1
  MISSING SIZE:		2459 B
  CORRUPT BLOCKS: 	1
  ********************************
 Minimally replicated blocks:	259823 (99.99962 %)
 Over-replicated blocks:	0 (0.0 %)
 Under-replicated blocks:	11432 (4.3999014 %)
 Mis-replicated blocks:		0 (0.0 %)
 Default replication factor:	3
 Average block replication:	3.04398
 Corrupt blocks:		1
 Missing replicas:		68592 (7.980528 %)
 Number of data-nodes:		4
 Number of racks:		1
FSCK ended at Tue Dec 10 22:07:41 EST 2019 in 27139 milliseconds


The filesystem under path '/' is CORRUPT
  1. 使用hadoop fsck -delete删除坏的块
hadoop fsck -delete /user/trafodion/.hiveStats/HIVE.DMA.DMA_ENTTYPE_STAT_ORC-1532663517555-NOSTRIPENUMROWSESTIMATE10

示例输出如下，

[hdfs@datanode-1 ~]$ hadoop fsck -delete /user/trafodion/.hiveStats/HIVE.DMA.DMA_ENTTYPE_STAT_ORC-1532663517555-NOSTRIPENUMROWSESTIMATE10
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

Connecting to namenode via http://namenode-1.gxgs.gov:50070/fsck?ugi=hdfs&delete=1&path=%2Fuser%2Ftrafodion%2F.hiveStats%2FHIVE.DMA.DMA_ENTTYPE_STAT_ORC-1532663517555-NOSTRIPENUMROWSESTIMATE10
FSCK started by hdfs (auth:SIMPLE) from /172.26.130.194 for path /user/trafodion/.hiveStats/HIVE.DMA.DMA_ENTTYPE_STAT_ORC-1532663517555-NOSTRIPENUMROWSESTIMATE10 at Tue Dec 10 22:10:37 EST 2019
.
/user/trafodion/.hiveStats/HIVE.DMA.DMA_ENTTYPE_STAT_ORC-1532663517555-NOSTRIPENUMROWSESTIMATE10: CORRUPT blockpool BP-175371422-172.26.130.198-1529452063491 block blk_1074702727

/user/trafodion/.hiveStats/HIVE.DMA.DMA_ENTTYPE_STAT_ORC-1532663517555-NOSTRIPENUMROWSESTIMATE10: MISSING 1 blocks of total size 2459 B.Status: CORRUPT
 Total size:	2459 B
 Total dirs:	0
 Total files:	1
 Total symlinks:		0
 Total blocks (validated):	1 (avg. block size 2459 B)
  ********************************
  UNDER MIN REPL'D BLOCKS:	1 (100.0 %)
  dfs.namenode.replication.min:	1
  CORRUPT FILES:	1
  MISSING BLOCKS:	1
  MISSING SIZE:		2459 B
  CORRUPT BLOCKS: 	1
  ********************************
 Minimally replicated blocks:	0 (0.0 %)
 Over-replicated blocks:	0 (0.0 %)
 Under-replicated blocks:	0 (0.0 %)
 Mis-replicated blocks:		0 (0.0 %)
 Default replication factor:	3
 Average block replication:	0.0
 Corrupt blocks:		1
 Missing replicas:		0
 Number of data-nodes:		4
 Number of racks:		1
FSCK ended at Tue Dec 10 22:10:37 EST 2019 in 56 milliseconds


The filesystem under path '/user/trafodion/.hiveStats/HIVE.DMA.DMA_ENTTYPE_STAT_ORC-1532663517555-NOSTRIPENUMROWSESTIMATE10' is CORRUPT
  1. 重新执行hadoop fsck /检查状态
.............................................................Status: HEALTHY
 Total size:	1313724044130 B (Total open files size: 650 B)
 Total dirs:	2381918
 Total files:	291461
 Total symlinks:		0 (Files currently being written: 16)
 Total blocks (validated):	259396 (avg. block size 5064550 B) (Total open file blocks (not validated): 7)
 Minimally replicated blocks:	259396 (100.0 %)
 Over-replicated blocks:	0 (0.0 %)
 Under-replicated blocks:	11432 (4.407161 %)
 Mis-replicated blocks:		0 (0.0 %)
 Default replication factor:	3
 Average block replication:	3.0440638
 Corrupt blocks:		0
 Missing replicas:		68592 (7.9924493 %)
 Number of data-nodes:		4
 Number of racks:		1
FSCK ended at Tue Dec 10 22:11:33 EST 2019 in 25360 milliseconds


The filesystem under path '/' is HEALTHY
数据源的港湾
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
HDFS小文件处理方案
08-30
讲解HDFS小文件处理方案方法
【大数据】记一次hadoop集群missing block问题排查和数据恢复
如切如磋，如琢如磨，臻于至善。
02-24 2335
记一次 Hadoop 集群 missing block 问题解决及排查思路，集群环境总共有2个NN节点，3个JN节点，40个DN节点，基于hadoop-3.3.1的版本。集群采用的双副本，未使用ec纠删码。因为出现了missing block块高于namenode安全模式启动的阈值，导致namenode起来一直处于安全模式。
HDFS数据恢复之Block Missing
wateraworld的专栏
03-29 5365
背景 报警得知2台机器宕机，推测是IDC同事在处理之前的报修。一台是系统盘故障，12块数据盘正常。一台是某块数据盘损坏。两台机器宕机时间相差不大，副本未自动补偿完毕，导致有27个block丢失，发生Block Missing，若干新旧文件发生corrupt。 解决方案 获得missing block列表，通过namenode即可获得。通过ramos进入系统盘损坏的机器，将全部
hdfs fsck命令检查文件系统健康状态、处理missing blocks问题、hdfs fsck / -delete执行失败
热门推荐
不是一枚开发
06-23 4万+
  hadoop集群由于磁盘损坏、节点挂机、机架掉电难免造成一些文件块损坏，通过命令，如，出现报错命令： 参数含义： 2. 使用   首先执行，发现执行失败，查看hdfs状态 执行，再运行 检查状态...
hadoop报错：There are * missing blocks. The following files may be corrupted
Kang Hao‘s Blog
08-02 6749
错误如下： /user/hive/warehouse/student01.txt: MISSING 1 blocks of total size 57 B.. /user/hive/warehouse/student2/student02.txt: CORRUPT blockpool BP-1635359950-127.0.0.1-1538059327626 block blk_1073741...
hdfs报错 ‘There are 10 missing blocks...‘
hhhhhhhhhhhnb的博客
05-17 677
hdfs集群下线DataNode要严格遵守顺序！！！ 启动hdfs与yarn平台后，进入web页面发现无法上传文件和创建目录，更无法删除目录。在hadoop中发现提示为进入安全模式。 查看安全模式状态 hdfs dfsadmin -safemode get 进入安全模式 hdfs dfsadmin -safemode enter 离开安全模式 hdfs dfsadmin -safemode leave ...
HDFS Missing Block诊断信息的改进
走在前往架构师的路上
03-07 1439
文章目录前言HDFS Block副本storage location的移除逻辑HDFS Block的last stored location的优化HDFS Missing Block lastStoredLocationd的测试 前言 在存储系统中，数据的安全性无疑是最top priority的事情，因此当数据发生丢失的时候，如何快速找到这些数据的位置并且快速地对他们进行恢复是最最要紧的事情。本...
HDFS HA切换后missing block问题分析
我想静静
05-31 6099
HDFS HA切换后missing block问题分析
hadoop hdfs missing blocks & 安全模式
数据之美的博客
11-19 5404
近期在做磁盘有关的一些测试时，最先是发现habse出现了RIT而且还是meta表的RIT，查看hadoop，出现了hdfs  missing blocks的问题，hadoop master上一上来就能看见报该问题。 There are 88 missing blocks. The following files may be corrupted: blk_1076662996 /**/d...
hdfs数据丢失数据块block missing问题排查解决
赵英超的博客
10-07 839
告警内容:NameNode Blocks Health:Total Blocks:[13352317], Missing Blocks:[1]最后平滑重启NameNode，在重启异常的DataNode解决。允许ipc通讯最大的数据包为128MB，默认配置为64MB。开始时间:2023-10-02 08:05:12。组件:HDFS/cube-hdfs-1。排查hdfs datanode日志发现。持续时间:8小时44分钟。但是数据一直没法恢复。
HDFS block丢失，导致hadoop进入安全模式的解决方案
08-29
HDFS block丢失hadoop进入安全模式（Safe mode）的解决方法
hadoop常见错误以及处理方法详解
01-20
1、hadoop-root-datanode-master.log 中有如下错误：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致datanode启动不了。原因:每次namenode format...
MR处理HDFS日志样例
12-27
MR处理HDFS日志样例
hdfs使用方法.rar
最新发布
03-21
hdfs
hadoop处理框架，hdfs，mapreduce，yarn
08-29
hadoop处理框架，hdfs，mapreduce，yarn
错误 hdfs miss block
kk25114的博客
09-27 226
miss block 1.删除节点,副本数量不足 (设置副本数量) 2.集群异常 3.升级,ha 列出 删除 再查看状态为health 此时cdh状态上变绿了 引用 https://blog.csdn.net/levy_cui/article/details/70226195?utm_source=blogxgwz3 https://my.oschina.net/...
hdfs missing blocks corrupt blocks
Black&White的专栏
01-05 1062
环境： CDH集群 问题描述： Cloudera Manager 监控HDFS爆红 Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录 Missing blocks Currupt blocks 解决方案： 以上问题描述都是hdfs丢失块或者块损坏造成，当hdfs丢失块时，hdfs会进去安全模式，只能...
hdfs问题2:There are 1 missing blocks. The following files may be corrupted:
weixin_43391069的博客
07-12 940
hdfs问题2 There are 1 missing blocks. The following files may be corrupted: ![在这里插入图片描述](https://img-blog.csdnimg.cn/2021071219495295.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM5MTA2O
hdfs中Missing Block 的文件处理方法
TURING.DT
04-13 7502
今天巡检的时候发现很多Missing Block信息，大概有1千多个，基本上是error文件，我针对一个文件进行fsck，如下信息： [root@nn ~]# hdfs fsck /kafka/kafka-sample/history/2014/errors-m-00003 -files -blocks -racks -locations SLF4J: Failed to load cla
hdfs适合流处理还是批处理
06-13
HDFS适合用于批处理，因为它的设计目标是支持大规模数据的存储和批量处理。HDFS采用了大块数据的存储方式，适合一次性写入大量数据，再进行批量处理。而流处理则需要实时读取和处理数据，对于HDFS这种批量写入的方式不太适合。当然，HDFS也可以通过其他工具来支持流式处理，例如Apache Kafka和Apache Flink等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据源的港湾

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值