hadoop 2.2.0 fsimage和edit logs的处理逻辑

最新推荐文章于 2024-01-15 17:32:10 发布

迷途小码

最新推荐文章于 2024-01-15 17:32:10 发布

阅读量1.6k

点赞数

分类专栏： hadoop开发

本文链接：https://blog.csdn.net/knowledgeaaa/article/details/23864211

版权

本文详细介绍了Hadoop HDFS中Namenode如何处理fsimage和edit logs的逻辑，具体包括：确定可删除的最小txid，计算可删除的edit logs集合，并在集合超出限制时执行删除操作。

摘要由CSDN通过智能技术生成

在类org.apache.hadoop.hdfs.server.namenode.NNStorageRetentionManager的purgeOldStorage()方法中描述了fsimage和edit logs的处理逻辑：

一、找到存在于fsimage中的最小txid，删除比最小txid小的fsimage

二、最小txid - dfs.namenode.num.extra.edits.retained = 可以删除txid集合

三、可删除txid集合 > dfs.namenode.max.extra.edits.segments.retained 时，删除集合中的最小值

完整代码：

  public void purgeOldStorage() throws IOException {
    FSImageTransactionalStorageInspector inspector =
      new FSImageTransactionalStorageInspector();
    storage.inspectStorageDirs(inspector);

    long minImageTxId = getImageTxIdToRetain(inspector);
    purgeCheckpointsOlderThan(inspector, minImageTxId);
    // If fsimage_N is the image we want to keep, then we need to keep
    // all txns > N. We can remove anything < N+1, since fsimage_N
    // reflects the state up to and including N. However, we also
    // provide a "cushi