spark算子调优reduceByKey本地聚合

reduceByKey，相较于普通的shuffle操作，它的一个特点就是说，会进行map端的本地聚合。

对map端给下个stage每个task创建输出文件中，写数据之前，就会进行本地的combiner操作，也就是说对每一个key对应的values都会执行你的算子函数

 

用reduceByKey对性能的提升：

1. 在本地进行聚合以后，在map端的数据量就变少了，减少磁盘io.而且可以减少磁盘空间的占用

2. 下一个stage拉取数据量变少，减少网络的数据传输的性能消耗

3. 在reduce端进行数据缓存的内存占用变少了

4. reduce端，要进行聚合的数据量也变少了

 

reduceByKey在什么情况下来使用呢？

1. 要实现类似于wordcount程序一样的，对每个key对应的值，进行某种数据公式或者算法的计算（累加、累乘）

2.对于一些类似于要对每个key字符串拼接的这种较为复杂的操作，其实有时也是可以使用reduceByKey来实现的，但是不好实现，

如果真的实现出来，对性能还是有帮助的