关闭

Learning Spark 笔记(五) -- coalesce、repartition

199人阅读 评论(0) 收藏 举报
分类:

8 . 在Spark中,有两种方法可以重设RDD的分区,coalesce和repartition。先看一下coalesce和repartition的定义:

def coalesce(numPartitions: Int, shuffle: Boolean = false){...}
def repartition(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {
        coalesce(numPartitions, shuffle = true)
    }

coalesce有两个参数,一个是最小分区数,第二个是是否要shuffle的bool值。repartition是coalesce第二个参数为false的情况下的实现,较之简单一些。
coalesce默认不会进行shuffle,即shuffle=false,但是小分区数转为大分区数的时候shuffle设置为false并不起作用,因为小转大要shuffle。大分区数转小分区数的时候应该尽量使用coalesce,因为这避免了数据的移动,性能要高于repartition。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:15843次
    • 积分:418
    • 等级:
    • 排名:千里之外
    • 原创:23篇
    • 转载:4篇
    • 译文:3篇
    • 评论:7条
    最新评论