关闭

hadoop学习(10)----map端的执行过程

标签: hadoop2.xmapreducemap
359人阅读 评论(0) 收藏 举报
分类:

1、介绍

在经过split阶段后,将会在RecordReader的类或者其子类中将split(分片的数据)读取成<key,value>键值对,这样就可以讲split分片中的数据以键值对的方式读入到map端去了。

2、详解

首先我们看一下org.apache.hadoop.mapreduce.Mapper类中的结构

<span style="font-size:18px;">public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> {

  public abstract class Context
    implements MapContext<KEYIN,VALUEIN,KEYOUT,VALUEOUT> {
  }
  

  protected void setup(Context context
                       ) throws IOException, InterruptedException {
    // NOTHING
  }

 @SuppressWarnings("unchecked")
  protected void map(KEYIN key, VALUEIN value, 
                     Context context) throws IOException, InterruptedException {
    context.write((KEYOUT) key, (VALUEOUT) value);
  }

  protected void cleanup(Context context
                         ) throws IOException, InterruptedException {
    // NOTHING
  }
  
  public void run(Context context) throws IOException, InterruptedException {
    setup(context);
    try {
      while (context.nextKeyValue()) {
        map(context.getCurrentKey(), context.getCurrentValue(), context);
      }
    } finally {
      cleanup(context);
    }
  }
}</span>

A、从Mapper类中的run()方法看来,Mapper任务过程中,限制性setup(),方法,在setup()方法中可以在map()函数之前进行一些预备的工作,例如简历布隆过滤器、读取分布式缓存等操作。

B、执行完setup()函数以后将会执行context.nextKeyValue()方法。而在一个任务被执行后,context的实际对象是MapContextImpl对象,下面我们看一下这个类中的方法:

<span style="font-size:18px;">public class MapContextImpl<KEYIN,VALUEIN,KEYOUT,VALUEOUT> 
    extends TaskInputOutputContextImpl<KEYIN,VALUEIN,KEYOUT,VALUEOUT> 
    implements MapContext<KEYIN, VALUEIN, KEYOUT, VALUEOUT> {
  private RecordReader<KEYIN,VALUEIN> reader;
  private InputSplit split;

  public MapContextImpl(Configuration conf, TaskAttemptID taskid,
                        RecordReader<KEYIN,VALUEIN> reader,
                        RecordWriter<KEYOUT,VALUEOUT> writer,
                        OutputCommitter committer,
                        StatusReporter reporter,
                        InputSplit split) {
    super(conf, taskid, writer, committer, reporter);
    this.reader = reader;
    this.split = split;
  }

  /**
   * Get the input split for this map.
   */
  public InputSplit getInputSplit() {
    return split;
  }

  @Override
  public KEYIN getCurrentKey() throws IOException, InterruptedException {
    return reader.getCurrentKey();
  }

  @Override
  public VALUEIN getCurrentValue() throws IOException, InterruptedException {
    return reader.getCurrentValue();
  }

  @Override
  public boolean nextKeyValue() throws IOException, InterruptedException {
    return reader.nextKeyValue();
  }

}</span>

我们从MapContextImpl类中可以看出,在该示例对象调用nextKeyValue()方法就是通过封装的方式执行RecordReader类中的nextKeyValue()方法,这样就从RecordReader类或者其子类中获取了Split分片<key,value>的数据。然后使用同样的封装方式调用RecordReader方法中的getCurrentKey和getCurrentValue方法获取相应的key值和value值,接着执行相应的map函数

C、map()方法使我们实现MapReduce功能需要进行自定义的主要方法,通过重写map()方法,我们让map()函数实现相应的业务逻辑。并且我们从run()方法中可以看出,每当生成一个KeyValue键值对时就会执行一次map()方法,对产生的keyvalue键值对进行相应的处理。

D、最后执行的cleanup()函数。因为cleanup()方法时在finally结构体中,所以其必然会执行,这是我们可以通过cleanup()方法去关闭一些全局资源,例如DataInputStream类等。同样我们可以讲较少的结果存储在一个静态数据中,在cleanup()方法中调用context.write()方法,将map的结果写入到上下文对象中,例如求出topn案例等。

E、当run、setup、map、cleanup方法都执行完成后,经过处理里所形成新的<key,value>键值对将通过context.write()方法写入到上下文中。

3、总结

Map端是自定义进行处理<key,value>键值对的,通过不同的设计模式,可以针对不同的数据和业务需求进行相应的处理,从而实现客户的需求。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:42384次
    • 积分:752
    • 等级:
    • 排名:千里之外
    • 原创:34篇
    • 转载:0篇
    • 译文:0篇
    • 评论:8条
    最新评论