repartition和coalesce区别

repartition：

用于增加或减少分区数量，可以指定新的分区数量。它会产生一个新的 Shuffle 过程，通常用于增加分区数量，进行更大规模的并行处理或者改变数据分布，以提高并行性能或者调整数据均衡性。

coalesce：

仅用于减少分区数量，不能增加分区数量。它合并现有分区以减少数据移动。因为它避免了数据的全局重排，所以相对于 repartition，coalesce 的性能更高

区别：

当减少分区数量时，如果有10个分区，然后使用 repartition(10)，则在这种情况下不会触发 Shuffle。因为原始的分区数是10，而想要的目标分区数是10，此时仅仅是一个元数据操作，而无需进行全局的数据重分布。所以在这种情况下，repartition(10) 不会触发 Shuffle 操作，和coalesce(10)一样

但如果repartion(5)时，就不一样了，repartition会重新打散分配，而coalesce(5)则还是会尽量将数据合并到指定数量的分区中

什么时候该用什么：

如果后续需要增大或减少分区，并且希望按照某一列进行分区，类似hive中DISTRIBUTE BY的功能，则只能使用repartion(10，"key")，而不能使用coalesce，因为其不能进行shuffle，按照某个key分区，不管增大还是减少分区数量，肯定都是需要重分区shuffle的，除非像前面的，本来就是按照key分区，又按key分区，还是分那么多数量的分区

如果后续只是减少输出文件数量，则应当使用coalesce，因为其性能更好

但coalesce也并不是万能的，例如：

读取大量数据简单的map处理(filter等操作)后直接落盘parquet文件，但我想让最终只输出一个文件，此时应该用repartition(1)，而非coalesce(1)，因为coalesce是不进行shuffle的，为了更快的合并文件，他甚至将读取文件的过程也变成了1个并行度，这显然是不合适的