Spark性能调优

1、使用kryo序列化类库
2、优化算子函数的数据结构，少用包装数据类型Integer或者HashMap，Linklist等，可以用原始类int等int[]，一般Map<String,Person>，可以使用特殊字符串来存储，不如JsonString拼接
3、使用checkpoint或者cache、persist持久化
4、使用序列化的持久化级别
5、java虚拟机垃圾回收调优
调整executor内存占比 rdd的partition：task 6:4
6、提高并行度
conf.set(“spark.default.parallelism”,“5”)
7、广播共享数据
8、数据本地化
9、算子优化（reduceByKey、GroupByKey）
10、shuffle性能调优
“spark.shuffle.consolidateFiles”,“true”
“spark.reducer.maxSizeInFight”:reduce task的拉取缓存，默认48M
“spark.shuffle.file.buffer”:map task的鞋磁盘缓存，默认43k
“spark.shuffle.io.maxRetries”:拉取失败的最大重试次数，默认3次
“spark.shuffle.io.retryWait”:拉取失败的重试间隔，默认5s
“spark.shuffle.memoryFraction”:用于reduce端聚合的内存比例，默认0.2，超过比例就会溢出写到磁盘