nutch1.2的generator如何获得输入的

今天分析了nutch中Generator如何读取上一步Injector生成的链接数据库CrawlDb，将nutch输入的原理进行总结。

（1）MapTask中通过获取job的InputFormat类，然后通过该类获得RecodReader，代码如下：

         RecordReader<INKEY,INVALUE> rawIn =job.getInputFormat().getRecordReader(inputSplit, job, reporter);

         所以要想控制输入就要编写自己的InputFormat类，然后重写getRecordReader（）函数，生成自己的

         RecodReader类，RecordReader类是真正的读取输入的控制类。

（2）然后MapTask根据isSkipping判断，然后对RecordReader进行包装，代码如下：

    RecordReader<INKEY,INVALUE> in = isSkipping() ? 
        new SkippingRecordReader<INKEY,INVALUE>(rawIn, umbilical, reporter) :
        new TrackedRecordReader<INKEY,INVALUE>(rawIn, reporter);

（3）调用job的MapRunnerClass，生成MapRunnable类实例，代码如下：

      MapRunnable<INKEY,INVALUE,OUTKEY,OUTVALUE> runner =  ReflectionUtils.newInstance(job.getMapRunnerClass(), job);

       运行runner，代码如下：

      runner.run(in, new OldOutputCollector(collector, conf), reporter);

（4）Generator的job类的MapRunnable类型为MapRunner，他的configure函数会利用反射机制生成MapperClass类的实例，代码如下：

  public void configure(JobConf job) {
    this.mapper = ReflectionUtils.newInstance(job.getMapperClass(), job);
    //increment processed counter only if skipping feature is enabled
    this.incrProcCount = SkipBadRecords.getMapperMaxSkipRecords(job)>0 && 
      SkipBadRecords.getAutoIncrMapperProcCount(job);
  }

（5）MapRunner的run方法负责调用RecordReader获得输入键值对，然后调用MapperClass的map函数，对输入键值对进行处理，代码如下：

  public void run(RecordReader<K1, V1> input, OutputCollector<K2, V2> output,
                  Reporter reporter)
    throws IOException {
    try {
      // allocate key & value instances that are re-used for all entries
      K1 key = input.createKey();//调用RecordReader的函数，获得输入的key值类型
      V1 value = input.createValue();//调用RecordReader函数，获得输入的Value值类型
      
      while (input.next(key, value)) {//调用input的next函数，获得输入文件中的输入键值对
        // map pair to output
//    	System.err.println("org.apache.hadoop.mapred.MapRunner:执行map");
//    	System.err.println("Input.next="+value.toString());
        mapper.map(key, value, output, reporter);//调用MapperClass的map函数对每个键值对进行处理
        if(incrProcCount) {
          reporter.incrCounter(SkipBadRecords.COUNTER_GROUP, 
              SkipBadRecords.COUNTER_MAP_PROCESSED_RECORDS, 1);
        }
      }
    } finally {
      mapper.close();
    }
  }

     解释：job的配置信息类conf没有给出输入的类型，所以不可能通过配置信息conf获得输入键值对的类型，通过分析RecordReader的createKey()和createValue()函数，发现RecordReader类通过读取输入文件分析产生输入键值对的类型，所以输入文件中给出了保存信息的键值对类型，所以conf配置文件中没有必要保存输入键值对类型。

（6）下一步就是你自己提供的MapperClass类，对RecorderReader读取的输入键值对进行分析处理。