HDFS, DataNode数据扫描

序

HDFS数据文件由blocks组成, 每个块复制为3份 (默认副本数3)存储在不同的DataNode

每个block对应1个数据文件(blk_xxx) 和1个元文件(blk_xxx.meta), 元文件记录数据文件的校验信息, 用于验证数据文件的完整性

DataNode通过block reports向NameNode报告块的状态

ll current/finalized/subdir111/subdir111/
总用量 152
-rw-r--r-- 1 hdfs hadoop 52888 9月  29 2021 blk_1081044806
-rw-r--r-- 1 hdfs hadoop   423 9月  29 2021 blk_1081044806_7305420.meta
-rw-r--r-- 1 hdfs hadoop   958 7月  15 2021 blk_1081044819
-rw-r--r-- 1 hdfs hadoop    15 7月  15 2021 blk_1081044819_7305433.meta
-rw-r--r-- 1 hdfs hadoop   958 7月  15 2021 blk_1081044824
-rw-r--r-- 1 hdfs hadoop    15 7月  15 2021 blk_1081044824_7305438.meta

虽然HDFS集群是健壮的, 但是集群的每个DataNode节点并不健壮, 数据异常可能在任意时间发生在任意磁盘上

那么如何保证数据的完整性?

块扫描

逐一扫描目录下的数据文件和元文件, 并记录当前扫描位置 (用于异常恢复, 避免重复扫描)

# cat scanner.cursor 
{
  "lastSavedMs" : 1652105956309,
  "iterStartMs" : 1651804037465,
  "curFinalizedDir" : null,
  "curFinalizedSubDir" : null,
  "curEntry" : null,
  "atEnd" : true
}

然而, 执行块扫描时, 需要读取整个数据文件, 因此会占用大量IO

如果频繁扫描, 可能导致DataNode正常的数据读写能力降级

控制扫描的频率, 以及扫描的对象, 可以有效控制块扫描的IO使用率

• dfs.block.scanner.volume.bytes.per.second , 扫描带宽, 限制每秒扫描的内容大小
• dfs.datanode.scan.period.hours, 扫描周期, 默认3周
• dfs.block.scanner.cursor.save.interval.ms, 扫描游标记录周期, 默认10分钟

目录扫描

块扫描解决了数据自身准确性问题, 目录扫描则是解决块存储信息的准确性问题

• dfs.datanode.directoryscan.throttle.limit.ms.per.sec, 限制每个线程使用CPU时间
• dfs.datanode.directoryscan.threads, 目录扫描线程数, 默认1
• dfs.datanode.directoryscan.interval, 目录扫描周期, 默认6小时