大数据学习记录（day5）-Hadoop之Mapper类和Reducer类代码学习

alvin_2005

于 2017-06-02 08:11:22 发布

阅读量687

点赞数

本文链接：https://blog.csdn.net/alvin_2005/article/details/72840755

版权

本文记录了Hadoop中Mapper类和Reducer类的学习，重点介绍了Mapper的setup、clearup、map和run方法，以及Reducer的setup、clearup和reduce方法。由于参考资料较旧，部分内容可能已过时，提醒读者注意筛选信息。

摘要由CSDN通过智能技术生成

学习来源：http://www.aboutyun.com/thread-5597-1-1.html
http://www.aboutyun.com/thread-5598-1-1.html
说明：由于参考资料大多是2013年以前的，所以有些说法也许并不成立，请读者选择性吸收。

       今天继续来读代码，关于Hadoop之Mapper类和Reducer类。
       一、Mapper类。
      在Hadoop的mapper类中，有4个主要的函数，分别是：setup，clearup，map，run。代码如下：

protected void setup(Context context) throws IOException, InterruptedException {
// NOTHING
}

protected void map(KEYIN key, VALUEIN value, 
                     Context context) throws IOException, InterruptedException {
context.write((KEYOUT) key, (VALUEOUT) value);
}

protected void cleanup(Context context) throws IOException, InterruptedException {
// NOTHING
}

public void run(Context context) throws IOException, InterruptedException {
    setup(context);
    while (context.nextKeyValue()) {
      map(context.getCurrentKey(), context.getCurrentValue(), context)