Spark 性能调优 filter算子使用后 使用coalesce减少分区数量

filter示意图

默认情况下，经过了这种filter之后，RDD中的每个partition的数据量，可能都不太一样了。原本每个partition的数据量可能是差不多的。

1. 每个partition的数据量变少了，但是在后面进行处理的时候，还是要跟partition数量一样数量的task,来进行处理，有点浪费task 计算资源
2. 每个partition的数据量不一样，会导致后面的每个task处理每个partition的时候，每个task要处理的数据量就不同，这个时候很容易发生什么问题？数据倾斜
   比如说，第二个partition的数据量才100；但是第三个partition的数据量是900；那么在后面的task处理逻辑一样的情况下，不同的task要处理的数据量可能差别达到了9倍，甚至10倍以上；同样也就导致了速度的差别在9倍，甚至10倍以上。

这样的话呢，就会导致有些task运行的速度很快；有些task运行的速度很慢。这，就是数据倾斜。

针对以上问题，如何解决？减少分区

1、针对第一个问题，我们希望可以进行partition的压缩吧，因为数据量变少了，那么partition其实也完全可以对应的变少。比如原来是4个partition，现在完全可以变成2个partition。那么就只要用后面的2个task来处理即可。就不会造成task计算资源的浪费。（不必要，