Spark！reduceByKey 和 groupByKey 的区别？

从 Shuffle 的角度：reduceByKey 和 groupByKey 都存在 Shuffle 的操作，但是 reduceByKey 可以在 Shuffle 前对分区内相同 Key 的数据进行预聚合（combine）操作，这样会减少落盘的数据量，而 groupByKey 只是进行分组，不存在数据量减少的问题，reduceByKey 性能比较高。

从功能的角度：reduceByKey 其实包含分组和聚合的功能。GroupByKey 只能分组，不能聚合，所以在分组聚合的场合下，推荐使用 reduceByKey。如果仅仅只是分组而不聚合，那么还是只能使用 groupByKey。

总结下来就是：reduceByKey：先在分区内进行预聚合（Shuffle 前），再将所有分区的数据按 Key 进行分组并聚合。

我们从代码层面来看

reduceByKey

 运行结果如下

 我们以一张图来描述一下其中的执行流程，我们这里的数据以a和b来代替，最后根据key来分组加处理。我们在shuffle操作之前就已经对相同的key进行预聚合的操作了，减少落盘的数据量

 我们再来看groupByKey

代码如下

运行效果如下

 大概的执行流程，看下图

groupByKey 只是进行分组，不存在数据量减少的问题，我们想要实现reduceByKey样式的数据，还需要配合sum来使用

 以上就是这篇内容的全部了，有不懂的可以私信我