HDFS作为一种分布式文件存储系统,数据完整性是最重要的性能指标之一。
HDFS是用CRC-32(32位循环冗余校验,4个字节大小)作为其数据完整性校验方式,下面分两种常态情况介绍其校验过程:
- IO操作
在通过client向DataNode节点写数据时,会先在client端针对写的数据每个io.bytes.per.checksum(默认512字节)字节创建一个单独的校验和,并将该校验和同数据本身一起传送给DataNode,DataNode接收数据时,会自行再次按照io.bytes.per.checksum字节创建一个校验和,通过两个校验和的比较,判断数据是否完整传输,如果两者相同,那么正确写入block,同时针对每个hdfs上的文件,会产生一个已.filename.crc为文件名的隐藏校验和文件,crc文件位于本地文件系统,hdfs上面无法直接查看;如果两者不同,那么会抛出ChecksumException给client,告知client传输出错。
在通过client从DataNode读取数据时,DataNode会将读取数据以及其校验和一起送给client,client本身再次创建校验和,同传送过来的校验和比较,判断读取数据是否完整,判断方式和写数据一样。在读取文件时,可以使用忽略crc校验,加快读取速度。 - 数据存储在磁盘上
存储在磁盘上的数据并不是一定安全,也可能随着时间的流逝,磁盘出现硬件损坏等原因,导致数据丢失或者不可用。DataNode节点在启动是,会顺便启动一个DataBlockScanner线程,该线程按照校验和的方式定时检测DataNode节点上的所有block块信息是否完整,如果存在不完整的block,标记之,同时发送信息给NameNode,由NameNode发出命令复制该block其他的备份副本来“治愈”这个问题。
HDFS在其他数据稳定安全方面也都有考虑,以后慢慢总结。