SparkSQL详细的调优步骤及参数配置?

1. 合理设置executor的内存大小:
在spark-defaults.conf文件中设置spark.executor.memory参数,该参数控制executor的内存大小,一般设置为每个executor的内存大小,可以根据实际情况调整。
2. 调整executor的数量:
在spark-defaults.conf文件中设置spark.executor.instances参数,该参数控制executor的数量,一般设置为每个executor的数量,可以根据实际情况调整。
3. 调整executor的cores:
在spark-defaults.conf文件中设置spark.executor.cores参数,该参数控制executor的cores,一般设置为每个executor的cores,可以根据实际情况调整。
4. 调整spark.sql.shuffle.partitions参数:
在spark-defaults.conf文件中设置spark.sql.shuffle.partitions参数,该参数控制shuffle操作的分区数,一般设置为每个executor的cores的数量,可以根据实际情况调整。
5. 调整spark.default.parallelism参数:
在spark-defaults.conf文件中设置spark.default.parallelism参数,该参数控制默认的并行度,一般设置为每个executor的cores的数量,可以根据实际情况调整。
6. 调整spark.sql.autoBroadcastJoinThreshold参数:
在spark-defaults.conf文件中设置spark.sql.autoBroadcastJoinThreshold参数,该参数控制自动广播连接的阈值,一般设置为比较小的值,可以根据实际情况调整。
7. 调整spark.sql.inMemoryColumnarStorage.compressed参数:
在spark-defaults.conf文件中设置spark.sql.inMemoryColumnarStorage.compressed参数,该参数控制内存中的列存储是否压缩,一般设置为true,可以根据实际情况调整。

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值