超级会员免费看
1. 从输入到输出
一个MapReducer作业经过了input，map，combine，reduce，output五个阶段，其中combine阶段并不一定发生，map输出的中间结果被分到reduce的过程成为shuffle（数据清洗）。
在shuffle阶段还会发生copy（复制）和
本文详细介绍了Hadoop MapReduce的工作过程，包括input、map、shuffle、reduce和output五个阶段。Map任务由InputFormat切片形成输入，map函数处理后通过Partitioner和Combiner（如果设置）进行分区和组合，输出保存到本地。Reduce任务负责复制map输出，按key排序并调用reduce函数。整个过程中涉及多次排序和数据清洗，最后reduce结果输出到HDFS。
订阅专栏 解锁全文
扫一扫
8346
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
