Checksum 校验和

一 校验数据的一般算法比较

都是通过对数据进行校验产生一个校验值，用来校验数据完整性。

不同点：

算法不同: CRC采用多项式除法，MD5和SHA1使用的是替换、轮转等方法；

校验值的长度不同:

CRC校验位的长度跟其多项式有关系，一般为16位或32位；

MD5是16个字节（128位）；

SHA1是20个字节（160位）；

安全性不同：这里的安全性是指检错的能力，即数据的错误能通过校验位检测出来。CRC的安全性跟多项式有很大关系，相对于MD5和SHA1要弱很多；MD5的安全性很；SHA1的安全性最高。

效率不同，CRC的计算效率很高；MD5和SHA1比较慢。

用途不同。CRC一般用作通信数据的校验，比如HDFS 通信过程数据完整性校验；MD5和SHA1用于安全领域，比如文件校验、数字签名等。

二Checksum（校验和）

Checksum:在数据处理和数据通信领域中，用于校验目的的一组数据项的和

HDFS为了保证数据的完整性，采用checksum进行数据校验，而具体Checksum类型主要包括：

>>NULL:不校验

>>CRC32(CyclicRedundancy Check): 采用32位的循环冗余校验码

>>CRC32C：

 

>>可以通过io.bytes.per.checksum属性设置，字节数默认是512 字节，创建一个单独的校验和，如果节点检测数据错误，就会报CheckSumException异常

>>除了在读取数据时进行验证，数据节点也会在后台运行一个线程 
DataBlockscanner（数据块检测程序）周期性的验证存储在数据节点上的所有块。

一旦检测到corruptblock，在heartbeat阶段，DN会收到NN发来的BlockCommand，从其他数据块中拷贝一份新的replica（备份块）。