1 首先用户提交作业代码，进行源数据切片处理
2 master调用worker执行map任务
3 worker载入源数据切片
4 worker执行map任务，并将结果保存到本地。
5 master调用worker执行reduce任务 reduce worker读取map的输出结果
6 worker执行reduce任务，并将结果保存到HDFS
本文详细阐述了分布式计算的过程，包括用户提交作业代码后的源数据切片、Master节点调用Worker执行Map和Reduce任务。Map阶段中，Worker加载数据切片并执行映射操作，结果暂存于本地。随后，Reduce阶段由Master调度，ReduceWorker读取Map的输出并执行聚合操作，最终结果保存到HDFS。这个流程揭示了大数据处理中的核心步骤。
扫一扫
1178
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
