hadoop一些基本知识——Hadoop mapper类的阅读

转载 2015年07月08日 17:04:44

在Hadoop的mapper类中,有4个主要的函数,分别是:setup,clearup,map,run。代码如下:

protected void setup(Context context) throws IOException, InterruptedException {
// NOTHING
}

protected void map(KEYIN key, VALUEIN value, 
                     Context context) throws IOException, InterruptedException {
 context.write((KEYOUT) key, (VALUEOUT) value);
}

protected void cleanup(Context context) throws IOException, InterruptedException {
// NOTHING
}

 public void run(Context context) throws IOException, InterruptedException {
    setup(context);
    while (context.nextKeyValue()) {
      map(context.getCurrentKey(), context.getCurrentValue(), context);
    }
    cleanup(context);
  }
}

由上面的代码,我们可以了解到,当调用到map时,通常会先执行一个setup函数,最后会执行一个cleanup函数。而默认情况下,这两个函数的内容都是nothing。因此,当map方法不符合应用要求时,可以试着通过增加setup和cleanup的内容来满足应用的需求。

hadoop mapper从源码开始 详解

hadoop的mapreduce计算框架中,最重要的两个部分自然就是mapper跟reducer了。写了这么久的MR,一直没有机会研究源码,也挺遗憾的。趁着这波有一些要深入了解的需求,加上周末的一些时...
  • bitcarmanlee
  • bitcarmanlee
  • 2016年05月15日 22:38
  • 4532

Hadoop学习之传递命令行参数给Mapper和Reducer

讲述了如何将自定义参数传递给特定的Job,并分析了该方法之所以可行的Hadoop源代码...
  • sky_walker85
  • sky_walker85
  • 2014年08月18日 15:38
  • 6683

[hadoop2.7.2]搭建eclipse源码阅读环境

有的小伙伴在问我如何在windows下搭建一个eclipse的hadoop源码阅读环境,今天就以hadoop2.7.2为例,简单介绍下如何搭建。 环境及工具如下: 1、系统:windows7 2、ec...
  • s060403072
  • s060403072
  • 2016年03月03日 14:42
  • 3452

hadoop一些基本知识——Hadoop简介(1):什么是Map/Reduce

Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富...
  • u013488563
  • u013488563
  • 2015年07月07日 15:06
  • 1137

Windows下搭建Hadoop(2.6.0) eclipse源码阅读环境

eclipse搭建hadoop2.6.0源码详细步骤
  • yhao2014
  • yhao2014
  • 2015年01月22日 11:39
  • 3190

Hadoop的一些基础知识

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点...
  • leiline
  • leiline
  • 2017年03月31日 15:30
  • 735

Hadoop之MapReduce程序分析

摘要:Hadoop之MapReduce程序包括三个部分:Mapper,Reducer和作业执行。本文介绍和分析MapReduce程序三部分结构。...
  • wangloveall
  • wangloveall
  • 2014年06月05日 05:55
  • 5152

mapreduce框架中的全局变量的设置

最近刚完成了一个基于mapreduce的autoencoder并行算法设计与实现,打算写一篇代码剖析,在此之前先整理一下用到的几个技术点。 ------------------------------...
  • coder_farmer_2015
  • coder_farmer_2015
  • 2015年03月25日 19:05
  • 2109

hadoop源码阅读之一:MR第二步:Mapper类

好久没写这个了 上一篇 http://blog.csdn.net/englishsname/article/details/45743901 还是好久前写的,下面学习mr步骤的第二步:Mapper过程...
  • englishsname
  • englishsname
  • 2016年02月03日 23:57
  • 334

如何查看hadoop程序中自己添加的日志

用hadoop也算有一段时间了,一直没有注意过hadoop运行过程中,产生的数据日志,比如说System打印的日志,或者是log4j,slf4j等记录的日志,存放在哪里,日志信息的重要性,在这里散仙就...
  • lifuxiangcaohui
  • lifuxiangcaohui
  • 2014年09月29日 14:17
  • 9979
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop一些基本知识——Hadoop mapper类的阅读
举报原因:
原因补充:

(最多只允许输入30个字)