HDFS数据完整性设计

HDFS作为一种分布式文件存储系统，数据完整性是最重要的性能指标之一。

HDFS是用CRC-32(32位循环冗余校验，4个字节大小)作为其数据完整性校验方式，下面分两种常态情况介绍其校验过程：

1. IO操作
   在通过client向DataNode节点写数据时，会先在client端针对写的数据每个io.bytes.per.checksum(默认512字节)字节创建一个单独的校验和，并将该校验和同数据本身一起传送给DataNode，DataNode接收数据时，会自行再次按照io.bytes.per.checksum字节创建一个校验和，通过两个校验和的比较，判断数据是否完整传输，如果两者相同，那么正确写入block，同时针对每个hdfs上的文件，会产生一个已.filename.crc为文件名的隐藏校验和文件，crc文件位于本地文件系统，hdfs上面无法直接查看；如果两者不同，那么会抛出ChecksumException给client，告知client传输出错。
   在通过client从DataNode读取数据时，DataNode会将读取数据以及其校验和一起送给client，client本身再次创建校验和，同传送过来的校验和比较，判断读取数据是否完整，判断方式和写数据一样。在读取文件时，可以使用忽略crc校验，加快读取速度。
2. 数据存储在磁盘上
   存储在磁盘上的数据并不是一定安全，也可能随着时间的流逝，磁盘出现硬件损坏等原因，导致数据丢失或者不可用。DataNode节点在启动是，会顺便启动一个DataBlockScanner线程，该线程按照校验和的方式定时检测DataNode节点上的所有block块信息是否完整，如果存在不完整的block，标记之，同时发送信息给NameNode，由NameNode发出命令复制该block其他的备份副本来“治愈”这个问题。

HDFS在其他数据稳定安全方面也都有考虑，以后慢慢总结。