写在前面,学习自:http://m.blog.csdn.net/Veechange/article/details/50776313,感谢博主分享。
什么是数据完整性?
什么是数据完整性?
HDFS的数据完整性,包括两个方面:一是,数据传输过程中的完整性,也就是读写数据的完整性;二是,数据存储的完整性。
为什么要完整性校验?
不希望在存储和处理数据时丢失和损坏数据。受网络不稳定、硬件损坏等因素,在数据传输和数据存储上,难免会出现数据丢失或脏数据,数据传输的量越大,出现错误的概率就越高。

本文介绍了HDFS中的数据完整性保障机制,包括数据传输和存储的完整性,以及通过校验和与DataBlockScanner进行数据检校的方法。在数据写入HDFS时,每512字节计算一个校验和,读取时再验证,确保数据准确。DataNode上的DataBlockScanner定期检查数据块,检测到变化会报告给NameNode,采取措施修复或删除损坏的block。
最低0.47元/天 解锁文章
507

被折叠的 条评论
为什么被折叠?



