Hadoop源码分析（四）

2021SC@SDUSC

研究内容简略介绍

上周我们分析了org.apache.hadoop.mapreduce.Cluster中的的核心代码，本周将继续对mapreduce部分进行分析。在对Cluster类有初步了解的基础上，我们继续分析与Cluster相关的org.apache.hadoop.mapreduce.ClusterMetrics。

hadoop.mapreduce.ClusterMetrics分析

我们首先来看ClusterMetrics的全局变量与构造方法。

@InterfaceAudience.Public
@InterfaceStability.Evolving
public class ClusterMetrics implements Writable {
   
  private int runningMaps;
  private int runningReduces;
  private int occupiedMapSlots;
  private int occupiedReduceSlots;
  private int reservedMapSlots;
  private int reservedReduceSlots;
  private int totalMapSlots;
  private int totalReduceSlots;
  private int totalJobSubmissions;
  private int numTrackers;
  private int numBlacklistedTrackers;
  private int numGraylistedTrackers;
  private int numDecommissionedTrackers;

  public ClusterMetrics() {
   
  }
  
  public ClusterMetrics(int runningMaps, int runningReduces,
      int occupiedMapSlots, int occupiedReduceSlots, int reservedMapSlots,
      int reservedReduceSlots, int mapSlots, int reduceSlots,
      int totalJobSubmissions, int numTrackers, int numBlacklistedTrackers,
      int numDecommissionedNodes) {
   
    this(runningMaps, runningReduces, occupiedMapSlots, occupiedReduceSlots,
      reservedMapSlots, reservedReduceSlots, mapSlots, reduceSlots,
      totalJobSubmissions, numTrackers, numBlacklistedTrackers, 0,
      numDecommissionedNodes);
  }

  public ClusterMetrics(int runningMaps, int runningReduces,
      int occupiedMapSlots, int occupiedReduceSlots, int reservedMapSlots,
      int reservedReduceSlots, int mapSlots, int reduceSlots,
      int totalJobSubmissions, int numTrackers, int numBlacklistedTrackers,
      int numGraylistedTrackers, int numDecommissionedNodes) {
   
    this.runningMaps = runningMaps;
    this.runningReduces = runningReduces;
    this.occupiedMapSlots = occupiedMapSlots;
    this.occupiedReduceSlots = occupiedReduceSlots;
    this.reservedMapSlots = reservedMapSlots;
    this.reservedReduceSlots = reservedReduceSlots;
    this.totalMapSlots = mapSlots;
    this.totalReduceSlots = reduceSlots;
    this.totalJobSubmissions = totalJobSubmissions;
    this.numTrackers = numTrackers;
    this.numBlacklistedTrackers = numBlacklistedTrackers;
    this.numGraylistedTrackers = numGraylistedTrackers;
    this.numDecommissionedTrackers = numDecommissionedNodes;
  }

可以看出在ClusterMetrics中定义了许多的与cluster相关的变量，例如：
集群的大小。
列入黑名单和退役的跟踪器数量。
集群的槽位容量。
当前占用/保留的map和reduce槽的数量。
当前运行的 map 和 reduce 任务的数量。
作业提交的数量。
因此不难推测ClusterMetrics主要是用于记录cluster的相关信息，提供给用户。

在官网提供的api中也可以看到对ClusterMetrics类的描述。

Status information on the current state of the Map-Reduce cluster.，即用于记录Map-Reduce cluster的具体信息，在上次一的博客中我们已经学习了cluster的相关内容，这里便不展开赘述。
我们还可以看到Clients can query for the latest ClusterMetrics, via Cluster.getClusterStatus()，也就是通过调用getClusterStatus即可得到对应的ClusterMetrics信息。

关于ClusterMetrics就大致看到这里，接下来我们继续学习mapreduce中的其他类。

org.apache.hadoop.mapreduce.Counters源码分析

Counters是mapreduce中极其重要的一个类。
计数器（Counter）是 MapReduce 应用程序报告其统计数据的设施。Mapper 和 Reducer 实现可以使用计数器报告统计数据。
MapReduce Counter为提供我们一个窗口：观察MapReduce job运行期的各种细节数据。MapReduce自带了许多默认Counter。
Counters 是全局计数器，由MapReduce框架或者Application定义。每一个Counter可以是任何枚举类型。特定计数器按枚举类型进行分组。

用户可以在map/reduce方法里通过context.getCounter(Enum<?> counterName)来获取定义好的计数器。然后通过counter.increment(long incr)的方式计数。

MapReduce框架本身就提供了很多内置的计数器，如File System Counters、Job Counters、Map-Reduce Framework、File Input Format Counters、File Output Format Counters。可在运行MR任务后的控制台打印信息里看到，如下图。其中SecondarySort Counters是自定义的Counter，不是MR自带的。

我们首先附上整个Counters类的源码，以便进一步分析。