Spark学习之路 (八)SparkCore的调优之开发调优
目录
调优概述
原则一:避免创建重复的RDD
一个简单的例子
原则二:尽可能复用同一个RDD
一个简单的例子
原则三:对多次使用的RDD进行持久化
对多次使用的RDD进行持久化的代码示例
Spark的持久化级别
如何选择一种最合适的持久化策略
原则四:尽量避免使用shuffle类算子
Broadcast与map进行join代码示例
原则五:使用map-s...
转载
2019-12-18 18:37:16 ·
93 阅读 ·
0 评论