- 博客(3)
- 收藏
- 关注
RSS订阅转载 Spark 创建RDD、DataFrame各种情况的默认分区数
转载自董可伦的博文：https://dongkelun.com/2018/08/13/sparkDefaultPartitionNums/
2018-12-17 14:25:31
661
原创 spark的持久化和checkpoint的区别
RDD 可以使用 persist() 方法或 cache() 方法进行持久化cache 底层调用的是 persist 方法，存储等级为: memory only，persist 的默认存储级别也是 memory only，persist 与 cache 的主要区别是 persist 可以自定义存储级别。哪些 RDD 需要 cache ？ 会被重复使用的(但是)不能太大的RDD需要cache，ca...
2018-12-14 22:12:54
884
转载 spark会产生shuffle的算子
去重def distinct()def distinct(numPartitions: Int)聚合def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)]def reduceByKey(partitioner: Partitioner, func: (V, V) => V): RDD[(K, V)...
2018-12-14 21:30:51
2587
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人