【转】分析Hadoop自带WordCount例子的执行过程(1)

在Hadoop的发行包中也附带了例子的源代码，WordCount.java类的主函数实现如下所示：

public   static   void  main(String[] args)  throws  Exception {
     int  res  =  ToolRunner.run( new  Configuration(),  new  WordCount(), args);
    System.exit(res);
}
}

我们先从主函数入手吧，一点点地按照“深度遍历”的思想，分解掉这个WordCount字频统计工具，让我们更清晰地看到到底在Hadoop中是如何进行工作的。

首先从ToolRunner的run方法开始，run方法需要三个参数，第一个是一个Configuration类的实例。第二个是 WorCount类的实例，args就是从控制台接收到的命令行数组。可见，估计分析到我们的WordCount还非常非常的远，因为 Configuration类与args数组就够追踪一会了。

下面是ToolRunner的run方法的实现：

  public   static   int  run(Configuration conf, Tool tool, String[] args) 
     throws  Exception{
     if (conf  ==   null ) {  //  即使传入的conf为null，仍然会在这里实例化一个配置类Configuration的对象
      conf  =   new  Configuration();
    }
    GenericOptionsParser parser  =   new  GenericOptionsParser(conf, args);  //  根据指定的conf和args数组实例化一个GenericOptionsParser类的对象，构造GenericOptionsParser类对象能实现对Hadoop通用的配置信息进行解析
     //  Tool类是一个接口，WordCount工具就是实现了Tool接口，Tool接口中只是定义了一个run方法，即实现一个Tool必须要知道这个Tool的实现类的对象怎样run。
     //  因为Tool接口实现了Configurable接口，在Configurable接口中可以为一个Tool设置初始化配置，即使用setConf()方法
    tool.setConf(conf);
    
     // get the args w/o generic hadoop args
    String[] toolArgs  =  parser.getRemainingArgs();  //  返回从控制台输入的命令行参数的数组
     return  tool.run(toolArgs);  //  根据toolArgs数组指定的命令启动WordCount实例运行，返回实现Tool接口的实现类的对象的执行状态码
}

上面的run方法应该是执行WordCount例子的最高层的方法，最抽象了。

程序一开始，首先要解析Hadoop配置文件，对应于Hadoop根目录下的conf目录下。其中的配置类为Configuration，构造一个Configuration对象，使用如下所示构造方法：

  public  Configuration() {
     if  (LOG.isDebugEnabled()) {
      LOG.debug(StringUtils.stringifyException( new  IOException( " config() " )));
    }
    resources.add( " hadoop-default.xml " );
    resources.add( " hadoop-site.xml " );
}

实例化一个Configuration对象，就是将conf目录中的hadoop-default.xml和hadoop-site.xml配置文件加入到private ArrayList<Object> resources中，以便再进一步解析。

真正解析Hadoop的配置文件的是一个GenericOptionsParser通用选项解析器类，需要提供一个Configuration对象的，同时指定一个命令行参数数组。

如下是GenericOptionsParser类的构造方法：

public  GenericOptionsParser(Configuration conf, String[] args) {
     this (conf,  new  Options(), args);  //  这里额外又多增加了一个Options对象作为参数
}

Options类是一个选项对象的集合，用于描述在应用中可能使用到的命令行参数。可以通过查看Options类的构造方法：

   public  Options()
    {
         //  nothing to do
    }

其实，什么也没有做。然而，可以动态为一个Options对象添加指定的选项的。

又调用了GenericOptionsParser类的另一个构造方法，如下所示：

  public  GenericOptionsParser(Configuration conf, Options options, String[] args) {
    parseGeneralOptions(options, conf, args);
}

继续调用GenericOptionsParser类的成员方法parseGeneralOptions()来进一步解析配置选项：

  /**
   * Parse the user-specified options, get the generic options, and modify
   * configuration accordingly
   *  @param  conf Configuration to be modified
   *  @param  args User-specified arguments
   *  @return  Command-specific arguments
    */
private  String[] parseGeneralOptions(Options opts, Configuration conf, 
      String[] args) {
    opts  =  buildGeneralOptions(opts);
    CommandLineParser parser  =   new  GnuParser();
     try  {
      commandLine  =  parser.parse(opts, args,  true );
      processGeneralOptions(conf, commandLine);
       return  commandLine.getArgs();
    }  catch (ParseException e) {
      LOG.warn( " options parsing failed:  " + e.getMessage());
      HelpFormatter formatter  =   new  HelpFormatter();
      formatter.printHelp( " general options are:  " , opts);
    }
     return  args;
}

其中，commandLine是GenericOptionsParser类的一个私有成员变量。

上面GenericOptionsParser类的成员方法parseGeneralOptions()可以作为解析Hadoop配置选项的一个高层的抽象方法了。

其中的buildGeneralOptions()接收Options opts然后又返回了opts，如下所示：

  /**
   * Specify properties of each generic option
    */
@SuppressWarnings( " static-access " )
private  Options buildGeneralOptions(Options opts) {
    Option fs  =  OptionBuilder.withArgName( " local|namenode:port " )
    .hasArg()
    .withDescription( " specify a namenode " )
    .create( " fs " );
    Option jt  =  OptionBuilder.withArgName( " local|jobtracker:port " )
    .hasArg()
    .withDescription( " specify a job tracker " )
    .create( " jt " );
    Option oconf  =  OptionBuilder.withArgName( " configuration file " )
    .hasArg()
    .withDescription( " specify an application configuration file " )
    .create( " conf " );
    Option property  =  OptionBuilder.withArgName( " property=value " )
    .hasArgs()
    .withArgPattern( " = " ,  1 )
    .withDescription( " use value for given property " )
    .create( ' D ' );
    opts.addOption(fs);
    opts.addOption(jt);
    opts.addOption(oconf);
    opts.addOption(property);
    
     return  opts;
}

返回的Options opts已经被赋予了丰富的内容