Hadoop
wuxiaosi808
这个作者很懒,什么都没留下…
展开
-
Hadoop中的shuffle、partition和combiner
如大家所知道的,Hadoop的计算框架主要是两个过程分别是map和reduce,但是还有好几个过程跟性能调优有关。如:shuffle、partition和combiner。 shuffle:数据从map端传输到reduce端的过程。据说是可以期待奇迹发生的环节。 计算框架总体的过程如下: map阶段:从磁盘读入数据 --> map函数 --> combine结果(非必需的过程)-->转载 2017-09-08 09:20:02 · 425 阅读 · 0 评论 -
MapReduce的过程
第一部分:MapReduce工作原理 MapReduce 角色 •Client :作业提交发起者。 •JobTracker: 初始化作业,分配作业,与TaskTracker通信,协调整个作业。 •TaskTracker:保持JobTracker通信,在分配的数据片段上执行MapReduce任务。 提交作业 •在作业提交之前,需要对作业进行配置 •程序代码,主要是自己书写的Ma转载 2017-08-31 21:21:20 · 589 阅读 · 0 评论