Hadoop
菜鸡小王子
这个作者很懒,什么都没留下…
展开
-
Hadoop Map/Reduce执行流程详解
Hadoop Map/Reduce执行流程详解转载Map/Reduce一个Map/Reduce 作业(job) 通常会把输入的数据(input file)切分为若干独立的数据块(splits),然后由 map任务(task)以完全并行的方式处理它们。Map/Reduce框架会对map的输出做一个 Shuffle 操作,Shuffle 操作的后的结果会输入给reduce任转载 2017-07-12 11:24:56 · 1607 阅读 · 0 评论 -
MapReduce的Shuffle过程详解
Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。转载 2017-07-12 15:01:31 · 594 阅读 · 1 评论 -
Hadoop MapReduce执行过程实例详解
MapReduce运行的时候,会通过Mapper运行的任务读取HDFS中的数据文件,然后调用自己的方法,处理数据,最后输出。Reducer任务会接收Mapper任务输出的数据,作为自己的输入数据,调用自己的方法,最后输出到HDFS的文件中转载 2017-07-12 17:45:23 · 474 阅读 · 0 评论