hadoop源码研究 -M/R(1)

转载 2013年12月03日 10:08:59
InputFormat 

 将输入的数据集切割成小数据集 InputSplits, 每一个 InputSplit 将由一个 Mapper 负责处理。此外 InputFormat 中还提供一个 RecordReader 的实现, 将一个 InputSplit 解析成 <key,value> 对提供给 map 函数。
 默认:TextInputFormat
(针对文本文件,按行将文本文件切割成 InputSplits, 并用 LineRecordReader 将 InputSplit 解析成 <key,value> 对,key 是行在文件中的位置,value 是文件中的一行) 

 

OutputFormat 

 提供一个 RecordWriter 的实现,负责输出最终结果
  默认:TextOutputFormat
(用 LineRecordWriter 将最终结果写成纯文件文件,每个 <key,value> 对一行,key 和 value 之间用 tab 分隔) 
 SequenceFileOutputFormat
 
OutputKeyClass 

 输出的最终结果中 key 的类型
  默认: LongWritable 
  
 
OutputValueClass 

 输出的最终结果中 value 的类型
  默认: Text 
  
 
MapperClass 

 Mapper 类,实现 map 函数,完成输入的 <key,value> 到中间结果的映射
   默认:IdentityMapper
(将输入的 <key,value> 原封不动的输出为中间结果) 


 
CombinerClass 

 实现 combine 函数,将中间结果中的重复 key 做合并
  默认: null
(不对中间结果中的重复 key 做合并) 
  
 
ReducerClass 

 Reducer 类,实现 reduce 函数,对中间结果做合并,形成最终结果
  默认: IdentityReducer
(将中间结果直接输出为最终结果) 

 

InputPath 

 设定 job 的输入目录, job 运行时会处理输入目录下的所有文件
  默认: null 
  
 
OutputPath 

 设定 job 的输出目录,job 的最终结果会写入输出目录下
   默认:null 
  
 
MapOutputKeyClass 

 设定 map 函数输出的中间结果中 key 的类型
   默认:如果用户没有设定的话,使用 OutputKeyClass 
  
 
MapOutputValueClass 

 设定 map 函数输出的中间结果中 value 的类型
   默认:如果用户没有设定的话,使用 OutputValuesClass 
  
 
OutputKeyComparator 

 对结果中的 key 进行排序时的使用的比较器
  默认: WritableComparable 
  
 
PartitionerClass 

 对中间结果的 key 排序后,用此 Partition 函数将其划分为R份,每份由一个 Reducer 负责处理。
  默认: HashPartitioner
(使用 Hash 函数做 partition) 
 其他实现:KeyFieldBasedPartitioner PipesPartitioner

相关文章推荐

hadoop源码研究--output (5)

Map的结果,会通过partition分发到Reducer上,Reducer做完Reduce操作后,通过OutputFormat,进行输出,下面我们就来分析参与这个过程的类。 Mappe...

android最新源码(4.4.2_r1版本以上)下载

android最新源码(4.4.2_r1版本以上)下载 参考:http://source.android.com/source/downloading.html 红色字体表示多项选择中,我所做的选择 ...

在windos平台下搭建Cygwin下载安卓源码5.0.2_r1

下载前请看完文章,本人已经尽力精简。工具注释:建议:再安装前,没有google邮箱的需要去注册一个gmail邮箱。 目的:解释下面安装所需的工具组件。1.Cygwin:在windos平台下模拟的L...

ubuntu 14.04.5 编译Android 4.4.4 r1源码(最新)

吐槽:ubuntu系统真是让人又爱又恨,也有可能是VMware Workstation Pro虚拟机的原因;同一个版本的ubuntu系统在Oracle VM VirtualBox上安装很顺利没有多大的...

终于下载android源码(android-2.3.3_r1)和编译系统

编译android-2.3.3_r1而不是最新的版本,是为了往开发板上刷系统。开发版提供的系统源码解压出错,才导致了我下载源码后编译。 1、昨天晚上3点能够终于可以下载源码。google的源码下载文...

在Ubuntu-14.04.3配置并成功编译Android6_r1源码

在Ubuntu-14.04.3配置并成功编译Android6_r1源码折腾了一周,终于把Android6_r1的源码编译成功。先上图,这是在ubuntu中运行的Android模拟器:由于我是在win8...

如何基于android4.4.2的源码和android-4.3.1_r1的驱动编译I9250的ROM

如何基于android4.4.2的源码和android-4.3.1_r1的驱动编译I9250的ROM 作者:雨水  2014-05-04 联系方式:dennis.hu.cd at gmail.com...
  • gobitan
  • gobitan
  • 2014年05月04日 21:21
  • 3892

测试通过的RC632读写M1卡源码

  • 2013年07月20日 08:40
  • 26KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop源码研究 -M/R(1)
举报原因:
原因补充:

(最多只允许输入30个字)