本文详细介绍了MapReduce的工作流程，包括创建项目、导入依赖、定义Mapper、Reducer及Partitioner类。重点阐述了Partitioner如何根据key进行数据分组，确保相同key的数据在同一输出文件中，以及Combiner如何在Reduce前预先合并数据以提升效率。通过理解这两个关键组件，可以更好地优化MapReduce作业的性能。
1. 执行流程 wordCount
2. partitioner与combiner的区别
partitioner是分组，将要清洗的数据按照key来对其进行分组，相同的key放在同一个输出文件中
combiner是在进入reduce之前，先进行一次合并，提高计算效率
3. mapreduce有分区流程
1) 创建项目
2) 导入jar包
3) 创包、创类
4) 书写代码
① 创建Mapper类
② 创建reduce类
③ 创建分区类
④ 创建提交类
1164
1722
440
904
3320
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
扫一扫
