mapreduce
高自强的博客
这个作者很懒,什么都没留下…
展开
-
Hadoop系列--Hadoop基本架构之MapReduce架构
1 MapReduce架构的组件组成1.1 组件组成 Hadoop的MapReduce架构主要由以下几个组件组成:Client、JobTracker、TaskTracker、Task。1.2 MapReduce架构图 如下图所示。 2 各组件详解1.Client 用户编写的MapReduce程序通过Client提交到JobTracker。 2.JobTracker 参照上图。原创 2017-08-08 21:02:04 · 801 阅读 · 0 评论 -
Hadoop系列--Hadoop核心之MapReduce的原理
1 MapReduce核心原理 “分而治之,并行计算”是MapReduce的核心原理,其实也是大数据处理的中心思想。1.1 分而治之 在MapReduce中,分而治之,就是, 一个任务分成多个小的子任务(map),并行执行后,合并结果(reduce)。1.2 并行计算 在任务分配完之后,每个子任务平行执行,彼此之间是互不影响的,也就是并行计算,具体的子任务可以按照具体的标准进行。原创 2017-08-12 18:25:28 · 1421 阅读 · 0 评论