文章来源:HDFS DataNode Scanners and Disk Checker Explained
以下只简单翻译部分文字,详情看英文原文。
简单的概念
一个文件包含多个block,一个block有一个或多个副本。
block存储在每台机器的磁盘上,并且包含个blk_xxx.meta信息,meta中包含crc校验信息等。
这篇文章为了解答以下问题
datanode什么时候检查blocks,如何做的检查?
datanode怎么保证内存(in-memory)中的metadata和本地磁盘保持一致?
如果发生block读失败,是因为磁盘错误吗?还是因为其他间歇性的错误(例如网络中断)?
Block Scanner & Volume Scanner
每个