Learning Spark 笔记(五) -- coalesce、repartition

最新推荐文章于 2023-11-16 10:54:39 发布

BlockheadLS

最新推荐文章于 2023-11-16 10:54:39 发布

阅读量847

点赞数

分类专栏： Spark学习之路

本文链接：https://blog.csdn.net/blockheadls/article/details/52358075

版权

Spark学习之路专栏收录该内容

13 篇文章 0 订阅

订阅专栏

8 . 在Spark中，有两种方法可以重设RDD的分区，coalesce和repartition。先看一下coalesce和repartition的定义：

def coalesce(numPartitions: Int, shuffle: Boolean = false){...}
def repartition(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {
        coalesce(numPartitions, shuffle = true)
    }

coalesce有两个参数，一个是最小分区数，第二个是是否要shuffle的bool值。repartition是coalesce第二个参数为false的情况下的实现，较之简单一些。
coalesce默认不会进行shuffle，即shuffle=false，但是小分区数转为大分区数的时候shuffle设置为false并不起作用，因为小转大要shuffle。大分区数转小分区数的时候应该尽量使用coalesce，因为这避免了数据的移动，性能要高于repartition。