关闭

hadoop一些基本知识——Hadoop mapper类的阅读

标签: hadoop
502人阅读 评论(0) 收藏 举报
分类:

在Hadoop的mapper类中,有4个主要的函数,分别是:setup,clearup,map,run。代码如下:

protected void setup(Context context) throws IOException, InterruptedException {
// NOTHING
}

protected void map(KEYIN key, VALUEIN value, 
                     Context context) throws IOException, InterruptedException {
 context.write((KEYOUT) key, (VALUEOUT) value);
}

protected void cleanup(Context context) throws IOException, InterruptedException {
// NOTHING
}

 public void run(Context context) throws IOException, InterruptedException {
    setup(context);
    while (context.nextKeyValue()) {
      map(context.getCurrentKey(), context.getCurrentValue(), context);
    }
    cleanup(context);
  }
}

由上面的代码,我们可以了解到,当调用到map时,通常会先执行一个setup函数,最后会执行一个cleanup函数。而默认情况下,这两个函数的内容都是nothing。因此,当map方法不符合应用要求时,可以试着通过增加setup和cleanup的内容来满足应用的需求。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:72886次
    • 积分:1101
    • 等级:
    • 排名:千里之外
    • 原创:28篇
    • 转载:40篇
    • 译文:1篇
    • 评论:22条
    文章分类
    最新评论