Spark SQL----Performance Tuning性能调优

最新推荐文章于 2024-07-16 23:47:57 发布
最新推荐文章于 2024-07-16 23:47:57 发布
阅读量655 收藏 27
点赞数 30
分类专栏： Spark 文章标签： spark sql 大数据 分布式 apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gabriel_wang_sh/article/details/137104144
版权

Spark SQL----Performance Tuning性能调优


对于某些工作负载，可以通过在内存中缓存数据或打开一些实验性选项来提高性能。

一、在内存中缓存数据

Spark SQL可以通过调用spark.catalog.cacheTable(“tableName”)或dataFrame.cache()来使用内存中的列格式来缓存表。然后Spark SQL将只扫描所需的列，并自动调整压缩以最小化内存使用和GC压力。你可以调用spark.catalog.uncacheTable(“tableName”)或dataFrame.unpersist()从内存中删除表。内存缓存的配置可以使用SparkSession上的setConf方法或使用SQL运行SET key=value命令来完成。

Property NameDefaultMeaningSince Version
spark.sql.inMemoryColumnarStorage.compressedtrue当设置为true时，Spark SQL将根据统计数据自动为每列选择一个压缩编解码器。1.0.1
spark.sql.inMemoryColumnarStorage.batchSize10000控制列式缓存的批大小。较大的批处理大小可以提高内存利用率和压缩，但在缓存数据时可能会有OOM的风险。1.1.1

二、其他配置选项

还可以使用以下选项来调优查询执行的性能。在未来的版本中，这些选项可能会被弃用，因为会自动执行更多的优化。

Property NameDefaultMeaningSince Version
spark.sql.files.maxPartitionBytes134217728 (128 MB)读取文件时装入单个分区的最大字节数。此配置仅在使用基于文件的源(如Parquet、JSON和ORC)时有效。2.0.0
spark.sql.files.openCostInBytes4194304 (4 MB)打开文件的估计成本，用同一时间内可以扫描的字节数来衡量。这在将多个文件放入分区时使用。最好是高估（over-estimate），这样具有小文件的分区将比具有大文件的分区快(大文件首先被调度)。此配置仅在使用基于文件的源(如Parquet、JSON和ORC)时有效。2.0.0
spark.sql.files.minPartitionNumDefault Parallelism建议的(不保证的)最小分割文件分区数。如果没有设置，默认值为spark.sql.leafNodeDefaultParallelism。此配置仅在使用基于文件的源(如Parquet、JSON和ORC)时有效。3.1.0
spark.sql.files.maxPartitionNumNone建议的(不保证的)最大分割文件分区数。如果设置了这个值，那么当初始分区数超过这个值时，Spark将重新调整每个分区，使分区数接近这个值。此配置仅在使用基于文件的源(如Parquet、JSON和ORC)时有效。3.5.0
spark.sql.broadcastTimeout300broadcast joins中的广播等待时间超时值(以秒为单位)1.3.0
spark.sql.autoBroadcastJoinThreshold10485760 (10 MB)配置表的最大大小(以字节为单位)，该表将在执行join时广播到所有工作节点。通过将此值设置为-1，可以禁用广播。请注意，目前统计数据只支持Hive Metastore表，其中命令ANALYZE TABLE <tableName> COMPUTE STATISTICS noscan已经运行。1.1.0
spark.sql.shuffle.partitions200配置为join或聚合shuffle数据时使用的分区数量。1.1.0
spark.sql.sources.parallelPartitionDiscovery.threshold32配置阈值以启用job输入路径的并行列表。如果输入路径数大于此阈值，Spark将使用Spark分布式job列出文件。否则，它将退回到sequential listing。此配置仅在使用基于文件的数据源(如Parquet、ORC和JSON)时有效。1.5.0
spark.sql.sources.parallelPartitionDiscovery.parallelism10000为job输入路径配置最大listing并行度。如果输入路径的数量大于此值，则将减少使用此值。此配置仅在使用基于文件的数据源(如Parquet、ORC和JSON)时有效。2.1.1

三、SQL查询的连接策略提示(join strategy hints)

join策略提示，即BROADCAST、MERGE、SHUFFLE_HASH和SHUFFLE_REPLICATE_NL，指示Spark在将每个指定关系与另一个关系join时，对它们使用提示的策略。例如，当对表“t1”使用BROADCAST提示时，即使统计数据建议的表“t1”的大小高于配置 spark.sql.autoBroadcastJoinThreshold，Spark也会优先考虑以“t1”为构建端的broadcast join（广播hash join或广播nested loop join，具体取决于是否存在任何equi-join键）。
当在join的两侧指定不同的join策略提示时，Spark会将使用如下优先级：BROADCAST提示优先于MERGE提示，MERGE提示优先于SHUFFLE_HASH提示，SHUFFLE_HASH提示优先于SHUFFLE_REPLICATE_NL提示。当使用BROADCAST提示或SHUFFLE_HASH提示指定两侧时，Spark将根据join类型和relations的大小选择构建侧。
请注意，不能保证Spark会选择提示中指定的join策略，因为特定的策略可能不支持所有join类型。

spark.table("src").join(spark.table("records").hint("broadcast"), "key").show()

要了解更多细节，请参考Join Hints的文档。

四、SQL查询的合并提示（Coalesce hints）

Coalesce提示允许Spark SQL用户控制输出文件的数量，就像在Dataset API中的coalesce、repartition 和repartitionByRange 一样，它们可以用于性能调优和减少输出文件的数量。“COALESCE”提示只有一个分区号作为参数。“REPARTITION”提示有分区号、列或两者都有/都没有作为参数。“REPARTITION_BY_RANGE”提示必须有列名，分区号是可选的。“REBALANCE”提示有一个初始分区号、列，或者两者都有/都没有作为参数。

SELECT /*+ COALESCE(3) */ * FROM t;
SELECT /*+ REPARTITION(3) */ * FROM t;
SELECT /*+ REPARTITION(c) */ * FROM t;
SELECT /*+ REPARTITION(3, c) */ * FROM t;
SELECT /*+ REPARTITION */ * FROM t;
SELECT /*+ REPARTITION_BY_RANGE(c) */ * FROM t;
SELECT /*+ REPARTITION_BY_RANGE(3, c) */ * FROM t;
SELECT /*+ REBALANCE */ * FROM t;
SELECT /*+ REBALANCE(3) */ * FROM t;
SELECT /*+ REBALANCE(c) */ * FROM t;
SELECT /*+ REBALANCE(3, c) */ * FROM t;

要了解更多细节，请参考Partitioning Hints文档。

五、自适应查询执行Adaptive Query Execution（AQE）

自适应查询执行(AQE)是Spark SQL中的一种优化技术，它利用运行时统计信息来选择最有效的查询执行计划，自Apache Spark 3.2.0以来默认启用。Spark SQL可以通过spark.sql.adaptive.enabled作为一个伞形配置来打开和关闭AQE。从Spark 3.0开始，AQE中有三个主要特性:合并shuffle后分区，将sort-merge join转换为broadcast join，以及skew join优化。

5.1 合并Shuffle后分区

当spark.sql.adaptive.enabled和spark.sql.adaptive.coalescePartitions.enabled配置都为true时，该特性根据映射输出统计数据合并shuffle后分区。这个特性简化了运行查询时shuffle分区数的调优。你不需要为你的数据集设置合适的shuffle分区数。一旦你通过 spark.sql.adaptive.coalescePartitions.initialPartitionNum配置设置了足够大的初始shuffle分区数，Spark就可以在运行时选择合适的shuffle分区数。

Property NameDefaultMeaningSince Version
spark.sql.adaptive.coalescePartitions.enabledtrue当为true且spark.sql.adaptive.enabled为true时，Spark将根据目标大小(由spark.sql.adaptive.advisoryPartitionSizeInBytes指定)合并连续的shuffle分区，以避免过多的小任务。3.0.0
spark.sql.adaptive.coalescePartitions.parallelismFirsttrue当为true时，Spark在合并连续shuffle分区时忽略spark.sql.adaptive.advisoryPartitionSizeInBytes(默认64MB)指定的目标大小，而只考虑spark.sql.adaptive.coalescePartitions.minPartitionSize(默认1MB)指定的最小分区大小，以最大化并行性。这是为了在启用自适应查询执行时避免性能退化。建议将此配置设置为false，并遵循spark.sql.adaptive.advisoryPartitionSizeInBytes指定的目标大小。3.2.0
spark.sql.adaptive.coalescePartitions.minPartitionSize1MB合并后shuffle分区的最小大小。它的值最多可以是spark.sql.adaptive.advisoryPartitionSizeInBytes的20%。当在分区合并期间忽略目标大小时，这是很有用的，这是默认情况。3.2.0
spark.sql.adaptive.coalescePartitions.initialPartitionNum(none)合并前shuffle分区的初始数目。如果没有设置，它等于spark.sql.shuffle.partitions。此配置仅在spark.sql.adaptive.enabled和spark.sql.adaptive.coalescePartitions.enabled同时启用时有效。3.0.0
spark.sql.adaptive.advisoryPartitionSizeInBytes64 MB自适应优化期间shuffle分区的建议大小(当spark.sql.adaptive.enabled为true时)。当Spark合并小shuffle分区或拆分倾斜shuffle分区时生效。3.0.0

5.2 分开倾斜（skew）的shuffle分区

Property NameDefaultMeaningSince Version
spark.sql.adaptive.optimizeSkewsInRebalancePartitions.enabledtrue当为true且spark.sql.adaptive.enabled为true时，Spark将优化RebalancePartitions中的倾斜shuffle分区，并根据目标大小(由spark.sql.adaptive.advisoryPartitionSizeInBytes指定)将其拆分为更小的分区，以避免数据倾斜。3.2.0
spark.sql.adaptive.rebalancePartitionsSmallPartitionFactor0.2如果分区的大小小于这个因子乘以spark.sql.adaptive.advisoryPartitionSizeInBytes，则分区将在拆分期间合并。3.3.0

5.3 将sort-merge join转换为broadcast join

当任何join端的运行时统计数据小于自适应broadcast hash join阈值时，AQE将sort-merge join转换为broadcast hash join。这并不像一开始就计划broadcast hash join那么有效，但它比继续进行sort-merge join要好，因为我们可以保存join两端的排序，并在本地读取shuffle文件以节省网络流量(如果spark.sql.adaptive.localShuffleReader.enabled为true)。

Property NameDefaultMeaningSince Version
spark.sql.adaptive.autoBroadcastJoinThreshold(none)配置表的最大大小(以字节为单位)，该表将在执行join时广播到所有工作节点。通过将此值设置为-1，可以禁用广播。默认值与spark.sql.autoBroadcastJoinThreshold相同。注意，此配置仅在自适应框架中使用。3.2.0
spark.sql.adaptive.localShuffleReader.enabledtrue当为true且spark.sql.adaptive.enabled为true时，Spark会在不需要shuffle分区时(例如，将sort-merge join转换为broadcast-hash join之后)尝试使用本地shuffle reader读取shuffle数据。3.0.0

5.4 将sort-merge join转换为shuffled hash join

当所有shuffle后分区小于阈值时，AQE将sort-merge join转换为shuffled hash join，最大阈值可以查看配置spark.sql.adaptive.maxShuffledHashJoinLocalMapThreshold。

Property NameDefaultMeaningSince Version
spark.sql.adaptive.maxShuffledHashJoinLocalMapThreshold0配置可允许构建本地hash map的每个分区的最大字节大小。如果此值不小于spark.sql.adaptive.advisoryPartitionSizeInBytes且所有分区大小不大于此配置，则无论spark.sql.join.preferSortMergeJoin的值如何，join选择都倾向于使用shuffled hash join而不是sort merge join。3.2.0

5.5 Skew Join优化

数据倾斜会严重降低join查询的性能。该特性通过将倾斜的任务拆分(如果需要还可以复制)成大小大致相等的任务，动态地处理sort-merge join中的倾斜。当同时启用spark.sql.adaptive.enabled和 spark.sql.adaptive.skewJoin.enabled配置时生效。

Property NameDefaultMeaningSince Version
spark.sql.adaptive.skewJoin.enabledtrue当为true并且spark.sql.adaptive.enabled为true时，Spark通过拆分(如果需要的话还可以复制)倾斜分区来动态处理sort-merge join中的倾斜。3.0.0
spark.sql.adaptive.skewJoin.skewedPartitionFactor5.0如果分区的大小大于该因子乘以中位数分区大小，并且大于spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes，则认为分区是倾斜的。3.0.0
spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes256MB如果分区的字节大小大于这个阈值，并且大于spark.sql.adaptive.skewJoin.skewedPartitionFactor乘以中位数分区大小，则认为分区是倾斜的。理想情况下，这个配置应该设置得比spark.sql.adaptive.advisoryPartitionSizeInBytes大。3.0.0
spark.sql.adaptive.forceOptimizeSkewedJoinfalse当为true时，强制启用OptimizeSkewedJoin，这是一个自适应规则，用于优化倾斜join以避免straggler任务，即使它引入了额外的shuffle。3.3.0

5.6 杂项

Property NameDefaultMeaningSince Version
spark.sql.adaptive.optimizer.excludedRules(none)配置要在自适应优化器中禁用的规则列表，其中规则由其规则名称指定，并用逗号分隔。优化器将记录那些确实被排除在外的规则。3.1.0
spark.sql.adaptive.customCostEvaluatorClass(none)用于自适应执行的自定义cost evaluator类。如果没有设置，Spark将默认使用自己的SimpleCostEvaluator。3.2.0
85程序员老王
关注
  • 30
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SPARK-SQL性能调优
shufangreal的博客
05-14 436
SPARK-SQL性能调优 SparkSQL的官方优化可以参考（本文主要从Spark2.4.0来概述）： http://spark.apache.org/docs/2.4.0/sql-performance-tuning.html#caching-data-in-memory For some workloads, it is possible to improve performance by either caching data in memory, or by turning on some exp
pyspark系列10-Spark SQL性能调优常用参数介绍
只是甲的博客
05-13 5488
文章目录一.在内存中缓存数据二.其它配置项三.SQL查询连接的hint四.自适应查询执行五.合并分区后重新组合六.将排序合并联接转换为广播联接七.优化倾斜连接参考: 一.在内存中缓存数据 Spark SQL可以通过调用Spark.catalog.cachetable (“tableName”)或DataFrame.cache()来使用内存中的columnar格式缓存表。然后Spark SQL将只扫描所需的列，并自动调优压缩以最小化内存使用和GC压力。你可以调用spark.catalog.uncacheTab
Java-Spark系列10-Spark性能调优概述
热门推荐
只是甲的博客
10-11 3万+
文章目录一.Spark 性能优化概述二.运行环境优化2.1 数据本地性2.2 数据存储格式三.RDD算子优化3.1 尽可能复用同一个RDD3.2 对多次使用的RDD进行持久化四.参数微调五.数据倾斜六. Spark常用的调优参数6.1 在内存中缓存数据6.2 其它配置项6.3 SQL查询连接的hint6.4 自适应查询执行6.5 合并分区后重新组合6.6 将排序合并联接转换为广播联接6.7 优化倾斜连接参考: 一.Spark 性能优化概述 首先笔者能力优先，使用Spark有一段时间，如下是笔者的工作经验的总
spark-sql读写数据源
盛源的博客
05-30 2050
spark读写数据源的相关操作一、读FileSystem;1)from后的表名用“文件格式.`存储路径`”代替;2) 可以使用分区字段, 但路径要指定到分区字段的上一层;1) 用options设定参数, 实现个性化读取;2) 可以使用分区字段, 但路径要指定到分区字段的上一层;3）获取记录所在文件路径：input_file_name()-- 忽略损坏的文件-- 忽略丢失的文件2. 使用样例。
微调fine-tuning.pdf
06-14
微调（Fine-Tuning）是深度学习领域中的一个重要概念，特别是在自然语言处理（NLP）中，如GPT（Generative Pre-trained Transformer）系列模型。GPT是一种基于Transformer架构的预训练语言模型，通过在大规模无标注...
Highload-Performance-Tuning_MySQL.pdf
07-08
Highload-Performance-Tuning_MySQL
Db10g SQL Tuning Vol-I
08-21
Db10g SQL Tuning Vol-I
SQL-tuning.rar_oracle
09-21
当我们谈论SQL调优，尤其是在Oracle数据库环境中，我们指的是优化SQL查询，以提高其性能、减少资源消耗并提升整体系统效率。Oracle SQL调优是数据库管理员和开发人员日常工作中不可或缺的一部分。 在“SQL-tuning....
超时导致SparkContext构造失败的问题探究
小昌昌的博客
07-14 774
我们线上一个Client模式下运行的Spark Application偶尔发生客户端超时，超时时间达到10min以上。从客户端看到的日志是SparkContext构造时与ApplicationMaster连接超时，似乎是连接问题导致的。后来发现并不是这样。本文详细记录我们对该事故的处理过程和我们总结的一些方法论，顺带介绍了Spark的不同角色之间的通信流程和架构，对整个过程的原理进行了详细探究。
【图解大数据技术】流式计算：Spark Streaming、Flink
weixin_43889578的博客
07-13 1081
Flink 和 Spark Streaming 不一样，Flink 一开始设计就是为了做实时流式计算的。它可以监听消息队列获取数据流，也可以用于计算存储在 HDFS 等存储系统上的数据（Flink 把 这些静态数据当做数据流来进行处理）。然后 Flink 计算后生成的结果流，也可以发送到其他存储系统。
Spark 实现自定义加密
Byyyi耀的博客
07-14 398
Spark 实现自定义加密
数据湖表格式 Hudi/Iceberg/DeltaLake/Paimon TPCDS 性能对比（Spark 引擎）
Turk的专栏
07-11 940
当前，业界流行的集中数据湖表格式 Hudi/Iceberg/DeltaLake，和最近出现并且在国内比较火的 Paimon。我们现在看到的很多是针对流处理场景的读写性能测试，那么本篇文章我们将回归到大数据最基础的场景，对海量数据的批处理查询。本文主要介绍通过 TPC-DS 3TB 的数据的99个SQL，对这几种数据湖表格式的查询性能做一个全面的测试。
Spark中的JOIN机制
最新发布
Java/Python大数据成长之路
07-16 716
Apache Spark共提供了五种JOIN机制，其中常用的有三种：Shuffle Hash Join、Broadcast Hash Join及Sort Merge Join，它们都基于Hash Join，只不过需要在Hash Join前后进行Shuffle、Broadcast或Sort实际上，Hash Join算法来自于传统数据库，而Shuffle、Broadcast和Sort是大数据（数据仓库）在分布式场景下两者结合的产物。因此，我们也说大数据（数据仓库）是由传统数据库发展而来的。
国产精品ORM框架-SqlSugar详解 SqlSugar初识 附案例源码 云草桑 专题一
cao919的专栏Net
07-13 749
国产精品ORM框架-SqlSugar详解 1、SqlSugar初识 2、开始实操 3、增删改操作 4、进阶功能 5优美的表达式、仓储、UnitOfWork、DbContext、AOP `代码先行，先有代码，然后有数据库，只关注业务，业务中的对象如果需要就直接创建实体，对应的数。简单易用、功能齐全、高性能、轻量级、服务齐全、官网教程文档、有专业技术支持一天18小时。支持 完整的SAAS一套应用 跨库查询 、租户分库 、租户分表 和 租户数据隔离。数据库的结构完全由代码来决定，数据库表--主键、自增，字段类型。
如何解决 PostgreSQL 中由于索引不当导致的性能下降问题？
技术笔记
07-12 806
比如说，有一个订单表，其中“订单日期”这个列经常被用于按时间范围查询订单，但却没有为其创建索引，这就会导致数据库在查询时需要遍历整个表，极大地降低了查询速度。命令，我们可以查看查询的执行计划。再举一个例子，如果我们发现某个表上存在多个类似的索引，比如“idx_age_1”和“idx_age_2”，并且它们的定义几乎相同，这时候就可以考虑删除其中一个冗余的索引，以减少维护成本和提高性能。然而，就像任何复杂的系统一样，它也可能会遇到性能方面的挑战，其中由于索引不当导致的性能下降问题是比较常见且令人头疼的。
SQL笔试题【数据岗】
房东的猫的博客
07-11 333
题目 4：输出一张 dws 表，查询过去任意日期的曝光活跃用户的 7 日留存率，输出字 段日 期，用户 id，7 日留存率具体表结构如下表 1 用户行为表：t_user_video_action_d l分区：ds（格式 yyyyMMdd） l主键：user_id、video_id l含义：一个用户对一个视频的所有行为聚合，每天增量 字段名字段含义类型。题目 3：计算每个用户每天第一次曝光视频的时间戳，运行速度越快越好，输出字段 日期， 用户 id，时间戳。
SQL面试题-留存率计算
xiao4816的博客
07-07 459
计算的是整段时间范围内，每一天为基准的所有的留存1、2、7天的用户数。计算的是用户首次登陆时间为基准时间，计算该基准时间之后的n日留存率。方法一的优势是可以一次性计算出，每天的不同时间范围的留存率。缺点：如果要计算n天留存需要增加代码量。但是不是很直观，并且计算量比较大。优点：代码直观好理解。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值