Hadoop HDFS 数据一致性

最新推荐文章于 2020-06-05 12:19:20 发布

chenxian6841

最新推荐文章于 2020-06-05 12:19:20 发布

阅读量362

点赞数

文章标签：大数据

原文链接：https://my.oschina.net/Yaland/blog/424913

版权

HDFS 会对写入的所有数据计算 校验和( checksum ) ，并在读取数据时 验证校验和 。针对指定字节的数目计算校验和。字节数默认是512 字节，可以通过 io.bytes.per.checksum 属性设置。通过CRC-32编码后为4字节。

Datanode 在保存数据前负责验证 checksum 。client 会把数据和校验和一起发送到一个由多个datanode 组成的队列中，最后一个Datanode 负责验证 checksum 。如果验证失败，会抛出一个ChecksumException。客户端需要处理这种异常。

客户端从datanode读取数据时，也会验证 checksum 。每个Datanode 都保存了一个验证 checksum 的日志。每次客户端成功验证一个数据块后，都会告知datanode，datanode会更新日志。

每个datanode 也会在一个后台线程中运行一个 DataBlockScanner，定期验证这个 datanode 上的所有数据块。

在用 hadoop fs get 命令读取文件时，可以用 -ignoreCrc 忽略验证。如果是通过FileSystem API 读取时，可以通过 setVerify Checksum(false)，忽略验证。

Hadoop 中的 LocalFileSystem 会进行客户端的检验和，写文件时，会在目录下创建一个名为 .filename.crc 的隐藏文件，如果想禁止校验和功能，可以用 RawLocalFileSystem 代替 LocalFileSystem 。

Configuration conf = ...
FileSystem fs = new RawLocalFileSystem();
fs.initialize(null, conf);

或者直接设置 fs.file.impl 属性为 org.apache. hadoop.fs.RawLocalFileSystem 这样会全局禁用 checksum

LocalFileSystem 内部使用了 ChecksumFileSystem 完成 checksum 工作。通过 ChecksumFileSystem 可以添加校验和功能。

FileSystem rawFs = ...
FileSystem checksummedFs = new ChecksumFileSystem(rawFs);

转载于:https://my.oschina.net/Yaland/blog/424913

关注