超级会员免费看
本文详细介绍了Spark SQL的性能优化策略，包括缓存数据以提高查询速度，调整内存相关参数如列式存储和压缩，以及设置如spark.sql.shuffle.partitions等关键参数来优化洗牌操作。此外，还讲解了Join的hints策略、重分区和自适应查询执行（AQE）的使用，旨在帮助用户充分利用Spark SQL进行高效的数据处理。
两句话概括
- 缓存数据
- 调整参数
缓存数据
把数据缓存到内存，spark sql能够只扫描需要列并且会自动压缩数据，占用最小的内存和减小GC压力。这无需多言，内存远远要快于磁盘，spark效率比hive高这个就是一个主要原因。
- 缓存数据代码
spark.catalog.cacheTable("tableName")
或
dataFrame.cache()
- 释放缓存
spark.catalog.uncacheTable("tableName")
或
dataFrame.unpersist()
用完后一定要记得释放掉，不要空占的内存浪费资源。
-
内存相关参数
spark sql可以使用SparkSession的setConf方法，或者使用sql命令 set key=value的方法来配置内存中的缓存。主要的配置参数有两个：
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
