mapreduce
文章平均质量分 80
younglibin
这个作者很懒,什么都没留下…
展开
-
Hadoop中Map任务的执行框架
原创 2013-08-23 10:55:42 · 98 阅读 · 0 评论 -
MapReduce中Job的初始化
原创 2013-08-22 15:34:33 · 121 阅读 · 0 评论 -
MapReduce:详解Shuffle过程---map和reduce数据交互的关键
原创 2013-08-22 14:55:33 · 464 阅读 · 0 评论 -
hadoop文件接口FileInputFormat中split计算方法
原创 2013-08-22 14:17:10 · 192 阅读 · 0 评论 -
mapreduce中map是怎么做的?参数又是怎么解析传递给map方法的?没有ifelse判断
2013-08-19 18:14:01 · 300 阅读 · 0 评论 -
hadoop中的Writable
, writeShort。等方法了。 这样让用户决定哪一个字段序例化, 怎么反序例化。 在org.apache.hadoop.io包下包含了大量的可序列化的组件,它们都实现了Writable接口,Writable接口提供了两个方法,write和readFields,分别用来序列化和反序列化。 Writable机制紧凑、快速(但不容易扩展到Java以外的语言,如C、Python等)。和java.io.Serializable不同,Writable接口不是一个说明性接口,它包含两个方法 pu原创 2013-08-19 15:37:06 · 172 阅读 · 0 评论 -
Hadoop InputFormat浅析---map前奏
t的Map程序应该运行在哪台TaskTracker机器上)?划分后的数据又如何读取?这就是本文所要讨论的问题。 先从一张经典的MapReduce工作流程图出发: 1、运行mapred程序; 2、本次运行将生成一个Job,于是JobClient向JobTracker申请一个JobID以标识这个Job; 3、JobClient将Job所需要的资源提交到HDFS中一个以JobID命名的目录中。这些资源包括JAR包、配置文件、InputSplit、等; 4、JobClient向JobTr原创 2013-08-19 15:30:44 · 94 阅读 · 0 评论 -
什么是MapReduce
/module4.html#inputformat 中文版: http://www.cnblogs.com/spork/archive/2010/01/11/1644342.html原创 2013-08-16 11:27:56 · 81 阅读 · 0 评论 -
Hadoop中Reduce任务的执行框架
m/Linux/2012-01/50853.htm )中说过还要为大家详细地描述Hadoop对Reduce任务执行框架的设计,那么在本文,我将兑现这个承诺。 其实,Hadoop中Reduce任务执行框架跟它的Map任务执行框架大致是很相似的,唯一的不同之处就是他们的数据输入来源、数据输出目的地不一样而已。总的说来,Map任务的输入数据来源于HDFS,最后的结果输出分布在每一个执行map任务的机器节点本地文件系统上,而Reduce任务的数据来源于每一个执行map任务的机器节点本地文件系统,它的最终原创 2013-08-23 11:00:47 · 128 阅读 · 0 评论