HDFS之数据完整性校验

本文介绍了HDFS中的数据完整性保障机制,包括数据传输和存储的完整性,以及通过校验和与DataBlockScanner进行数据检校的方法。在数据写入HDFS时,每512字节计算一个校验和,读取时再验证,确保数据准确。DataNode上的DataBlockScanner定期检查数据块,检测到变化会报告给NameNode,采取措施修复或删除损坏的block。
摘要由CSDN通过智能技术生成
写在前面,学习自:http://m.blog.csdn.net/Veechange/article/details/50776313,感谢博主分享。


什么是数据完整性?
HDFS的数据完整性,包括两个方面:一是,数据传输过程中的完整性,也就是读写数据的完整性;二是,数据存储的完整性。

为什么要完整性校验?
不希望在存储和处理数据时丢失和损坏数据。受网络不稳定、硬件损坏等因素,在数据传输和数据存储上,难免会出现数据丢失或脏数据,数据传输的量越大,出现错误的概率就越高。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值