Hadoop volume选择策略

最新推荐文章于 2023-03-06 17:47:25 发布

疾跑的蜗牛

最新推荐文章于 2023-03-06 17:47:25 发布

阅读量1.1k

点赞数

分类专栏： hadoop 文章标签： hadoop 源码解读

本文链接：https://blog.csdn.net/mrczr/article/details/79752604

版权

本文介绍了Hadoop DataNode中数据副本存储的卷选择策略，包括round-robin和可用空间策略。这两种策略均基于`VolumeChoosingPolicy`，轮询策略通过目录磁盘轮询选择，而可用空间策略则考虑了卷的可用空间比例。高可用volume优先级更高，且有概率权重倾向于使用它们。

摘要由CSDN通过智能技术生成

原代码version：2.6.1

什么是volume：卷，用途：在hadoop中用于dataNode副本储存，所有dataNode的储存都离不开volume的策略选择，策略的选择可以通过参数dfs.datanode.fsdataset.volume.choosing.policy 参数来设置，参数默认值：org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy

策略选择：目前有round-robin ，available space

上述两种策略均继承： org.apache.hadoop.hdfs.server.datanode.fsdataset.VolumeChoosingPolicy

方法chooseVolume便是选择的条件，即策略的定义

package org.apache.hadoop.hdfs.server.datanode.fsdataset;

import java.io.IOException;
import java.util.List;

import org.apache.hadoop.classification.InterfaceAudience;

/**
 * This interface specifies the policy for choosing volumes to store replicas.
 */
@InterfaceAudience.Private
public interface VolumeChoosingPolicy<V extends FsVolumeSpi> {

  /**
   * Choose a volume to place a replica,
   * given a list of volumes and the replica size sought for storage.
   * 
   * The implementations of this interface must be thread-safe.
   * 
   * @param volumes - a list of available volumes.
   * @param replicaSize - the size of the replica for which a volume is sought.
   * @return the chosen volume.
   * @throws IOException when disks are unavailable or are full.
   */
  public V