Learning Spark 笔记(五) -- coalesce、repartition

8 . 在Spark中,有两种方法可以重设RDD的分区,coalesce和repartition。先看一下coalesce和repartition的定义:

def coalesce(numPartitions: Int, shuffle: Boolean = false){...}
def repartition(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {
        coalesce(numPartitions, shuffle = true)
    }

coalesce有两个参数,一个是最小分区数,第二个是是否要shuffle的bool值。repartition是coalesce第二个参数为false的情况下的实现,较之简单一些。
coalesce默认不会进行shuffle,即shuffle=false,但是小分区数转为大分区数的时候shuffle设置为false并不起作用,因为小转大要shuffle。大分区数转小分区数的时候应该尽量使用coalesce,因为这避免了数据的移动,性能要高于repartition。

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/BlockheadLS/article/details/52358075
个人分类: Spark学习之路
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭