sparksql调优之第一弹

1,jvm调优

这个是扯不断,理还乱。建议能加内存就加内存,没事调啥JVM,你都不了解JVM和你的任务数据。

spark调优系列之内存和GC调优

2,内存调优

缓存表

spark2.+采用:

spark.catalog.cacheTable("tableName")缓存表,spark.catalog.uncacheTable("tableName")解除缓存。

spark 1.+采用:

采用 sqlContext.cacheTable("tableName")缓存,sqlContext.uncacheTable("tableName") 解除缓存


Sparksql仅仅会缓存必要的列,并且自动调整压缩算法来减少内存和GC压力。

属性

默认值

介绍

spark.sql.inMemoryColumnarStorage.compressed

true

假如设置为true,SparkSql会根据统计信息自动的为每个列选择压缩方式进行压缩。

spark.sql.inMemoryColumnarStorage.batchSize

10000

控制列缓存的批量大小。批次大有助于改善内存使用和压缩,但是缓存数据会有OOM的风险


3,广播

大小表进行join时,广播小表到所有的Worker节点,来提升性能是一个不错的选择。Spark提供了两个参数可以调整,不同版本会有些许不一样,本文以Spark2.2.1为例讲解。

属性

默认值

描述

spark.sql.broadcastTimeout

300

广播等待超时时间,单位秒

spark.sql.autoBroadcastJoinThreshold

10485760 (10 MB)

最大广播表的大小。设置为-1可以禁止该功能。当前统计信息仅支持Hive Metastore


广播的变量的使用其实,有时候没啥用处。在任务超多,夸stage使用数据的时候才能凸显其真正作用。任务一趟跑完了,其实广播不广播无所谓了。。。

4,分区数据的调控

分区设置spark.sql.shuffle.partitions,默认是200.

对于有些公司来说,估计在用的时候会有Spark sql处理的数据比较少,然后资源也比较少,这时候这个shuffle分区数200就太大了,应该适当调小,来提升性能。

也有一些公司,估计在处理离线数据,数据量特别大,而且资源足,这时候shuffle分区数200,明显不够了,要适当调大。

适当,就完全靠经验。

5,文件与分区

这个总共有两个参数可以调整:

一个是在读取文件的时候一个分区接受多少数据;

另一个是文件打开的开销,通俗理解就是小文件合并的阈值。

文件打开是有开销的,开销的衡量,Spark 采用了一个比较好的方式就是打开文件的开销用,相同时间能扫描的数据的字节数来衡量。

参数介绍如下:

属性名称

默认值

介绍

spark.sql.files.maxPartitionBytes

134217728 (128 MB)

打包传入一个分区的最大字节,在读取文件的时候。

spark.sql.files.openCostInBytes

4194304 (4 MB)

用相同时间内可以扫描的数据的大小来衡量打开一个文件的开销。当将多个文件写入同一个分区的时候该参数有用。该值设置大一点有好处,有小文件的分区会比大文件分区处理速度更快(优先调度)。


spark.sql.files.maxPartitionBytes该值的调整要结合你想要的并发度及内存的大小来进行。

spark.sql.files.openCostInBytes说直白一些这个参数就是合并小文件的阈值,小于这个阈值的文件将会合并。

6,文件格式

建议parquet或者orc。Parquet已经可以达到很大的性能了。性能指标,网上一堆,在这里浪尖就不啰嗦了。

7,sql调优

听天由命吧。

关于调优多说一句:

对于Spark任务的调优,要深入了解的就是数据在整个spark计算链条中,在每个分区的分布情况。有了这点的了解,我们就会知道数据是否倾斜,在哪倾斜,然后在针对倾斜进行调优。

分区数该增大增大,该减少减少。

内存要尽可能大。

表别动不动就缓存,有时候重新加载比缓存速度都快。

该广播广播,不该广播的时候就别广播,就一个批次执行完的任务你广播毛线。

。。。。。

Spark算子在使用的时候注意事项,容浪尖后续整理


推荐阅读:

1,Spark调优系列之序列化方式调优

2,spark调优系列之高层通用调优

3,Spark调优系列之硬件要求

4,spark调优系列之内存和GC调优



关于Spark学习技巧

kafkahbasespark,Flink等入门到深入源码,spark机器学习,大数据安全,大数据运维,请关注浪尖公众号,看高质量文章。

更多文章,敬请期待



  • 0
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
SparkSQL中进行调优可以提高查询性能和资源利用率。下面是一些常见的SparkSQL调优技巧: 1. 数据分区:合理分区数据可以提高并行处理的效率。可以使用`repartition`或`coalesce`方法来重新分区数据,确保每个分区的大小适中。 2. 数据压缩:使用压缩格式存储数据可以减少磁盘IO和网络传输的开销。可以在创建表时指定压缩格式,如Parquet文件格式支持多种压缩算法。 3. 列式存储:将数据按列存储可以减少读取不必要的列,提高查询性能。可以使用Parquet或ORC等列式存储格式。 4. 分桶表:对数据进行分桶可以在连接操作和聚合操作中提高性能。可以使用`CLUSTERED BY`语句在创建表时指定分桶列,并使用`SKEWED BY`语句处理数据倾斜问题。 5. 数据缓存:对于频繁访问的数据集,可以将其缓存在内存中,以减少IO开销。可以使用`cache`或`persist`方法将DataFrame或表数据缓存到内存中。 6. 广播变量:将小数据集广播到所有节点上,可以减少网络传输开销。可以使用`broadcast`方法将小数据集广播到所有任务。 7. 硬件资源配置:根据集群规模和任务需求合理配置硬件资源,包括内存、CPU和磁盘等。 8. 查询优化:理解查询执行计划,通过合理的查询编写和优化,避免不必要的数据扫描和计算操作。 9. 动态分区插入:对于分区表的插入操作,使用动态分区插入可以减少任务数量,提高插入性能。 10. 并发度设置:根据集群规模和任务需求,合理设置并发度参数,如`spark.sql.shuffle.partitions`和`spark.sql.files.maxPartitionBytes`等。 以上是一些常见的SparkSQL调优技巧,根据具体的场景和需求,可以选择适合的调优策略来提高SparkSQL的性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值