Lxjyh99的博客

去重def distinct()def distinct(numPartitions: Int)聚合def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)]def reduceByKey(partitioner: Partitioner, func: (V, V) => V): RDD[(K, V)...

RDD 可以使用 persist() 方法或 cache() 方法进行持久化cache 底层调用的是 persist 方法，存储等级为: memory only，persist 的默认存储级别也是 memory only，persist 与 cache 的主要区别是 persist 可以自定义存储级别。哪些 RDD 需要 cache ？ 会被重复使用的(但是)不能太大的RDD需要cache，ca...

转载自董可伦的博文：https://dongkelun.com/2018/08/13/sparkDefaultPartitionNums/

转载地址：https://blog.csdn.net/weixin_39478115/article/details/78884876