文章目录 partition (分区)sort (排序)combiner (局部聚合)group (分组) partition (分区) 分区的算法是 对key进行哈希,取到一个哈希值,用这个哈希值与reduceTask的数量进行取余。余几,这个数据就放在余数编号的partition sort (排序) 排序的方法有 正序,倒序,字典排序法 combiner (局部聚合) 对数据进行局部聚合。减少网络传入的次数,降低了网络开销。 group (分组) 将相同的key提取出来作为唯一的key,将相同的key对应的value获取出来作为value的list。