断电导致HDFS 块损坏

1.现象:
断电 导致HDFS服务不正常或者显示块损坏

2.检查HDFS系统文件健康
hdfs fsck /

3.检查hdfs fsck -list-corruptfileblocks

Connecting to namenode via http://hadoop36:50070/fsck?ugi=hdfs&listcorruptfileblocks=1&path=%2F
The list of corrupt files under path ‘/’ are:
blk_1075229920 /hbase/data/JYDW/WMS_PO_ITEMS/c71f5f49535e0728ca72fd1ad0166597/0/f4d3d97bb3f64820b24cd9b4a1af5cdd
blk_1075229921 /hbase/data/JYDW/WMS_PO_ITEMS/c96cb6bfef12795181c966a8fc4ef91d/0/cf44ae0411824708bf6a894554e19780
The filesystem under path ‘/’ has 2 CORRUPT files

4.分析:
MySQL–》大数据平台
只需要从MySQL这个表的数据重新刷新一份到HDFS平台

5.想要知道文件的哪些块分布在哪些机器上面?
手工删除linux文件/dfs/dn/…

hadoop36:hdfs:/var/lib/hadoop-hdfs:>

-files 文件分块信息,
-blocks 在带-files参数后才显示block信息
-locations 在带-blocks参数后才显示block块所在datanode的具体IP位置,
-racks 在带-files参数后显示机架位置

无法显示,无法删除块文件:
hdfs fsck /hbase/data/JYDW/WMS_PO_IT

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFS(Hadoop分布式文件系统)是一个高可靠性、高容错性的分布式文件系统,可以将大量数据存储在集群中的多个节点上。然而,由于各种原因,HDFS中的可能会损坏或变得不可用,产生坏。以下是导致HDFS产生的几个常见原因。 1. 硬件故障: HDFS运行在由多个节点组成的集群上,节点上的硬件有可能出现故障,如磁盘故障、电源故障等。当发生硬件故障,存储在中的数据可能会损坏或丢失,导致的产生。 2. 网络故障: HDFS在集群中的节点之间进行数据传输,如果网络出现故障,数据传输可能会被中断或延迟。这可能导致某些未能正确地写入或读取,从而导致的生成。 3. 软件错误: HDFS在设计和实现过程中可能存在程序错误或缺陷,这些错误可能导致HDFS无法正确地管理和数据,从而产生坏。 4. 不正确的关闭操作: 当HDFS进行写操作时,如果不正确地关闭节点或集群,可能会导致部分未被正确地写入。在读取时,这些将被视为坏。 5. 数据损坏: 如果数据在写入到HDFS之前已经损坏或发生变化,那么在读取时这些可能会被识别为坏。 坏的产生可能会对数据的完整性和可用性造成负面影响,因此,HDFS提供了坏检测和自动修复的机制,以确保数据的可靠性和一致性。当发现坏时,HDFS会尝试从数据备份中恢复该或将其复制到其他可用节点上。这种机制可以减少坏对数据的影响,并提高整个文件系统的可用性和可靠性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值