HDFS 会对写入的所有数据计算
校验和(
checksum
)
,并在读取数据时
验证校验和
。针对指定字节的数目计算校验和。字节数默认是512 字节,可以通过
io.bytes.per.checksum
属性设置。通过CRC-32编码后为4字节。
Datanode 在保存数据前负责验证
checksum
。client 会把数据和校验和一起发送到一个由多个datanode 组成的队列中,最后一个Datanode 负责验证