sparksql优化参数配置

最新推荐文章于 2024-10-09 17:46:09 发布

甲家家

最新推荐文章于 2024-10-09 17:46:09 发布

阅读量597

点赞数

文章标签： spark优化

本文链接：https://blog.csdn.net/qq_29329981/article/details/101678916

版权

shuffle缓冲区大小
set spark.shuffle.file.buffer=128k
合并小文件
set spark.shuffle.consolidateFiles=true
哈希shuffle
set spark.shuffle.manager=hash
shuffle内存占比
set spark.shuffle.memoryFraction=0.5
序列化
set spark.serializer=org.apache.spark.serializer.KryoSerialization
分区数
set spark.sql.shuffle.partitions=100
本地化
set spark.locality.wait=6000
。。。不知道  嘤嘤嘤
set spark.driver.maxResultSize=512m