There are 2 missing blocks. The following files may be corrupted: blk_1073755429 /tmp/logs/atguigu

最新推荐文章于 2023-12-27 09:20:59 发布

旧城里的阳光

最新推荐文章于 2023-12-27 09:20:59 发布

阅读量508

点赞数 2

分类专栏：大数据常见错误 Hadoop生态圈文章标签：大数据 hadoop

本文链接：https://blog.csdn.net/qq_43883124/article/details/114981740

版权

大数据同时被 3 个专栏收录

40 篇文章 0 订阅

订阅专栏

常见错误

2 篇文章 0 订阅

订阅专栏

Hadoop生态圈

1 篇文章 0 订阅

订阅专栏

There are 2 missing blocks. The following files may be corrupted: blk_1073755429 /tmp/logs/atguigu

在这里插入图片描述

步骤1，检查文件缺失情况

可以看到，

[atguigu@hadoop102 ~]$ hadoop fsck /user/hive/warehouse | grep parquet
WARNING: Use of this script to execute fsck is deprecated.
WARNING: Attempting to execute replacement "hdfs fsck" instead.

Connecting to namenode via http://hadoop102:9870/fsck?ugi=atguigu&path=%2Fuser%2Fhive%2Fwarehouse

确实发现文件已经损坏，不可恢复。对于临时不太重要文件我们可以删除，在处理业务的时候。
切记是不太重要文件，这不是开玩笑！
为了让集群UI界面会到正常页面显示。

步骤2，删除缺失文件

hadoop fsck -delete /tmp/logs/atguigu/logs-tfile/application_1615942061191_0002/hadoop102_42257
hadoop fsck -delete /tmp/logs/atguigu/logs-tfile/application_1615942061191_0002/hadoop103_43744

与你丢失的文件路径要对应上