HDFS清理坏块

报错

Failed with exception java.io.IOException:org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1921057509-192.168.57.129-1517160177567:blk_1073741930_1106 file=/user/hive/warehouse/db_hive.db/student/student.txt
Time taken: 0.104 seconds
hive> eixt;
NoViableAltException(26@[])

700

image.png

  • hdfs检测
    检测命令:bin/hdfs fsck /


    700
  • 清理坏块
    命令:bin/hdfs fsck / -delete
    命令说明:将丢失的块全部删除
  • 检测
    bin/hdfs fsck /


    700

    health

  • hive测试


    700

    success

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFSHadoop分布式文件系统)是一个高可靠性、高容错性的分布式文件系统,可以将大量数据存储在集群中的多个节点上。然而,由于各种原因,HDFS中的块可能会损坏或变得不可用,产生坏块。以下是导致HDFS坏块产生的几个常见原因。 1. 硬件故障: HDFS运行在由多个节点组成的集群上,节点上的硬件有可能出现故障,如磁盘故障、电源故障等。当发生硬件故障,存储在块中的数据可能会损坏或丢失,导致坏块的产生。 2. 网络故障: HDFS在集群中的节点之间进行数据传输,如果网络出现故障,数据传输可能会被中断或延迟。这可能导致某些块未能正确地写入或读取,从而导致坏块的生成。 3. 软件错误: HDFS在设计和实现过程中可能存在程序错误或缺陷,这些错误可能导致HDFS无法正确地管理块和数据,从而产生坏块。 4. 不正确的关闭操作: 当HDFS进行写操作时,如果不正确地关闭节点或集群,可能会导致部分块未被正确地写入。在读取时,这些块将被视为坏块。 5. 数据损坏: 如果数据在写入到HDFS之前已经损坏或发生变化,那么在读取时这些块可能会被识别为坏块坏块的产生可能会对数据的完整性和可用性造成负面影响,因此,HDFS提供了坏块检测和自动修复的机制,以确保数据的可靠性和一致性。当发现坏块时,HDFS会尝试从数据备份中恢复该块或将其复制到其他可用节点上。这种机制可以减少坏块对数据的影响,并提高整个文件系统的可用性和可靠性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值