关闭

hadoop源码研究 -M/R(1)

标签: hadoop源码
561人阅读 评论(0) 收藏 举报
分类:
InputFormat 

 将输入的数据集切割成小数据集 InputSplits, 每一个 InputSplit 将由一个 Mapper 负责处理。此外 InputFormat 中还提供一个 RecordReader 的实现, 将一个 InputSplit 解析成 <key,value> 对提供给 map 函数。
 默认:TextInputFormat
(针对文本文件,按行将文本文件切割成 InputSplits, 并用 LineRecordReader 将 InputSplit 解析成 <key,value> 对,key 是行在文件中的位置,value 是文件中的一行) 

 

OutputFormat 

 提供一个 RecordWriter 的实现,负责输出最终结果
  默认:TextOutputFormat
(用 LineRecordWriter 将最终结果写成纯文件文件,每个 <key,value> 对一行,key 和 value 之间用 tab 分隔) 
 SequenceFileOutputFormat
 
OutputKeyClass 

 输出的最终结果中 key 的类型
  默认: LongWritable 
  
 
OutputValueClass 

 输出的最终结果中 value 的类型
  默认: Text 
  
 
MapperClass 

 Mapper 类,实现 map 函数,完成输入的 <key,value> 到中间结果的映射
   默认:IdentityMapper
(将输入的 <key,value> 原封不动的输出为中间结果) 


 
CombinerClass 

 实现 combine 函数,将中间结果中的重复 key 做合并
  默认: null
(不对中间结果中的重复 key 做合并) 
  
 
ReducerClass 

 Reducer 类,实现 reduce 函数,对中间结果做合并,形成最终结果
  默认: IdentityReducer
(将中间结果直接输出为最终结果) 

 

InputPath 

 设定 job 的输入目录, job 运行时会处理输入目录下的所有文件
  默认: null 
  
 
OutputPath 

 设定 job 的输出目录,job 的最终结果会写入输出目录下
   默认:null 
  
 
MapOutputKeyClass 

 设定 map 函数输出的中间结果中 key 的类型
   默认:如果用户没有设定的话,使用 OutputKeyClass 
  
 
MapOutputValueClass 

 设定 map 函数输出的中间结果中 value 的类型
   默认:如果用户没有设定的话,使用 OutputValuesClass 
  
 
OutputKeyComparator 

 对结果中的 key 进行排序时的使用的比较器
  默认: WritableComparable 
  
 
PartitionerClass 

 对中间结果的 key 排序后,用此 Partition 函数将其划分为R份,每份由一个 Reducer 负责处理。
  默认: HashPartitioner
(使用 Hash 函数做 partition) 
 其他实现:KeyFieldBasedPartitioner PipesPartitioner
0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

setfacl设置特定目录的权限

现有一目录是虚拟机和linux共享的,但是每次程序调用新建的文件都发现没有权限。 于是指定特定目录及其子目录下新建的文件或目录对于用户qhfz都有读写执行的权限 -R表示递归 -m表示设置文件ac...
  • yaerfeng
  • yaerfeng
  • 2014-09-22 13:44
  • 11575

基于Hadoop和Openstack云存储的研究(HDFS和Swift对比)

前几天在知网上翻了好多论文,昨天开始一篇一篇地看,由于有的论文时间比较早,甚至是3年前的,所以很多部分只是对当前的技术有一个展望和综述,不过这样对我这种初学者也有好处,今天看得这篇文章是李金亮,翟永刚...
  • lanceyang1992
  • lanceyang1992
  • 2015-06-11 13:15
  • 1517

c++计算组合数C(m,r)=m!/(r!*(m-r))

计算组合数C(m,r)=m!/(r!*(m-r)),其中m,r均为正整数,且m>r。
  • qikaihuting
  • qikaihuting
  • 2017-04-14 11:23
  • 3403

Hadoop RPC源码研究----客户端部分

针对之前的升级操作,研究了一下底层源码,主要是hadoop RPC相关的源码。当我们在命令行键入hdfs dfsadmin -rollingUpgrade query的时候,底层所执行的类是DFSAd...
  • SeoHyunChyL
  • SeoHyunChyL
  • 2016-09-22 17:30
  • 244

hadoop源码研究--output (5)

Map的结果,会通过partition分发到Reducer上,Reducer做完Reduce操作后,通过OutputFormat,进行输出,下面我们就来分析参与这个过程的类。 Mappe...
  • gaokao2011
  • gaokao2011
  • 2013-12-03 10:12
  • 552

ToolRunner与eclipse hadoop 插件的替代品,简化M/R程序的开发

目前开发的时候测试M/R程序有三种方式 1.  直接打成jar包,然后放到服务器中去执行。此方法步骤繁琐,每次都要打包上传。 2.  使用Hadoop的Ecilpse插件,但是对于N多...
  • magicdreaming
  • magicdreaming
  • 2012-09-11 12:44
  • 2211

hadoop-3.0.0-alpha1-src.tar.gz 源码

  • 2017-01-02 16:18
  • 34.63MB
  • 下载

在windos平台下搭建Cygwin下载安卓源码5.0.2_r1

下载前请看完文章,本人已经尽力精简。工具注释:建议:再安装前,没有google邮箱的需要去注册一个gmail邮箱。 目的:解释下面安装所需的工具组件。1.Cygwin:在windos平台下模拟的L...
  • u011195398
  • u011195398
  • 2015-02-23 15:48
  • 713

android最新源码(4.4.2_r1版本以上)下载

android最新源码(4.4.2_r1版本以上)下载 参考:http://source.android.com/source/downloading.html 红色字体表示多项选择中,我所做的选择 ...
  • zeroboundary
  • zeroboundary
  • 2013-12-25 14:50
  • 60695

终于下载android源码(android-2.3.3_r1)和编译系统

编译android-2.3.3_r1而不是最新的版本,是为了往开发板上刷系统。开发版提供的系统源码解压出错,才导致了我下载源码后编译。 1、昨天晚上3点能够终于可以下载源码。google的源码下载文...
  • jingwen3699
  • jingwen3699
  • 2012-09-01 13:45
  • 1632
    个人资料
    • 访问:341393次
    • 积分:3877
    • 等级:
    • 排名:第9512名
    • 原创:93篇
    • 转载:138篇
    • 译文:2篇
    • 评论:56条
    最新评论