hadoop mapreduce加载ClientProtocol(JobRunner)方法解析

hadoop mapreduce加载ClientProtocol(JobRunner)使用了spi机制，具体方法在Cluster#initialize。它会使用frameworkLoader(一个ServiceLoader对象)加载ClientProtocolProvider，在hadoop的jar包里配置了两个实现类：

• org.apache.hadoop.mapred.YarnClientProtocolProvider
  • 配置文件见~\.m2\repository\org\apache\hadoop\hadoop-mapreduce-client-jobclient\2.7.2\hadoop-mapreduce-client-jobclient-2.7.2.jar!\META-INF\services\org.apache.hadoop.mapreduce.protocol.ClientProtocolProvider。
• org.apache.hadoop.mapred.LocalClientProtocolProvider
  • 配置文件见~\.m2\repository\org\apache\hadoop\hadoop-mapreduce-client-common\2.7.2\hadoop-mapreduce-client-common-2.7.2-sources.jar!\META-INF\services\org.apache.hadoop.mapreduce.protocol.ClientProtocolProvider。

核心逻辑如下：

for (ClientProtocolProvider provider : frameworkLoader) {
	if (jobTrackAddr == null) {
		clientProtocol = provider.create(conf);
	} else {
		clientProtocol = provider.create(jobTrackAddr, conf);
	}
	
	if (clientProtocol != null) {
	    clientProtocolProvider = provider;
	    client = clientProtocol;
	    break;
    }
}

framewordLoader的生成代码如下：

  private static ServiceLoader<ClientProtocolProvider> frameworkLoader =
      ServiceLoader.load(ClientProtocolProvider.class);

整体加载逻辑就是通过frameworkLoader加载ClientProtocolProvider的实现类，然后遍历所有实现类，并通过实现类生成ClientProtocol，如果在遍历过程中有一次成功创建ClientProtocol对象，则退出循环，返回该对象。

具体是否生成对象的逻辑在ClientProtocol各自的实现类里，在生成对象的时候，会根据mapreduce.framework.name属性，选择生成或不生成ClientProtocol，只有mapreduce.framework.name是该类目标值的时候才可以生成。如YarnClientProtocolProvider的生成代码如下：

  public ClientProtocol create(Configuration conf) throws IOException {
    // yarn
    if (MRConfig.YARN_FRAMEWORK_NAME.equals(conf.get(MRConfig.FRAMEWORK_NAME))) {
      return new YARNRunner(conf);
    }
    return null;
  }

在内部会判断mapreduce.framework.name是否是yarn，只有是yarn的时候才会生成。而LocalClientProtocolProvider则会判断是否是local。

所以，把这些逻辑结合起来就是生成mapreduce.framework.name配置指定的ClientProtocol对象。