谈一谈spark SQL的调优经验

最新推荐文章于 2023-07-31 14:37:08 发布
最新推荐文章于 2023-07-31 14:37:08 发布
阅读量477 收藏 4
点赞数 3
分类专栏： 大数据 文章标签： 大数据 mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Monica114/article/details/108364755
版权

什么是spark SQL

SQL是一种结构化的数据库查询语言。而spark SQL是spark套件中的一个组件，它将数据的计算任务通过SQL的形式转换成了RDD的计算，类似于hive通过SQL的形式将数据的计算任务转换成了MapReduce。
通常来说Hadoop是一整套大数据解决方案，包括了存储（HDFS）、计算（MapReduce）和资源调度管理（Yarn）。hive是Hadoop生态发展起来的一个数据仓库，可以使用hive SQL实现MR，并且将HDFS映射成表。而spark是基于内存计算的大数据并行计算框架，可以更快第实现数据计算。

spark SQL执行步骤

大部分的SQL，解析执行过程类似：通常用户在客户端发送SQL请求，先判断请求是否合法，包括权限检查等；然后SQL解析器对SQL进行语法语义的解析，SQL优化器会生成最优执行计划。
SQL执行步骤示意图

spark SQL执行顺序

要对SQL调优，肯定是要对SQL关键字执行顺序有所认识。这样便于我们更好地调整SQL。以下是一条SQL所有关键字执行顺序。
在这里插入图片描述

join原理

SQL的所有操作，可

最低0.47元/天 解锁文章
国家级睡觉型选手
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
来道面试题
bluedraam_pp的博客
07-14 317
with detail as ( select '18:30:00' as game_time , 'Lakers' as team_name, 'kebo' as player , 2 as score union all select '18:31:05' as game_time , 'Lakers' as team_name , 'kebo' as player , 2 as score union all select '18:31:21' as game_time , '76ers' as te
SparkSQL优化大全
最新发布
h494411的博客
06-15 1044
当然，Spark性能调优有很多配置，这里我们只介绍简单可以快速解决问题的。首先，很多时候较好的代码可以避免90%的问题，那么这就需完整对Spark体系的认知。然而，很多时候Spark执行失败，对于些这些急需解决的失败问题的处理，就没有那么多时间进行系统化的学习。那么就可以快速参考这篇文件，对出现的场景进行匹配并尝试优化。对于Spark执行较慢的任务来说，我们首先应该明白，Spark的性能杀手主要在Shuffle和Join。
数据分析中的连续性问题
bluedraam_pp的博客
06-24 2754
场景 实现 实现1 with a as ( select * from ( select '2014-01-01' as date_ , '1' as is_holaday union all select '2014-01-02' as date_ , '0' as is_holaday union all select '2014-01-03' as date_...
Spark性能调优指南来了！
笑看风云路的博客
07-31 2925
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(，简称RDD)的API定义。Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用SQL或者版本的HQL来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。本文首先讲解了Spark的底层的Shuffle。
拼多多数据分析面试题：请你写一个sql语句统计出，连续三次（及以上）为球队得分的球员名单
m0_59596937的博客
04-07 486
下图是用向上窗口函数lead，得到球员姓名向上1行的列（第2列），因为A1向上1行超出了表行列的范围，所以这里对应的值就是默认值（不设置默认值就是null）。默认值是指，当向上N行或者向下N行值时，如果已经超出了表行和列的范围时，会将这个默认值作为函数的返回值，若没有指定默认值，则返回Null。例如，下图按球队分组后，再按照得分时间降序排序后，我们可以看出，A队中的A1球员，B队中的B3球员，其姓名均连续出现3次。order by …lag(字段名,N,默认值) over(partion by …
spark性能调优
09-30
Spark性能调优是大数据处理领域中的一个重要话题，它涉及到如何最大化地利用计算资源，提高数据处理的速度和效率。以下是对Spark性能调优的一些关键知识点的详细解析： 1. **资源调度与分配**：Spark默认使用的是...
spark性能调优与spark SQL项目代码分享
09-01
spark性能调优，共包含了调优的最佳方法，以及JVM调优，troubleshooting，数据倾斜的使用方法。 为了更好的搭配该性能调优方案，顾把项目也...并且，代码有了一份scala 编写的spark SQL我会分享到github上，供大家参考
Spark性能调优
02-26
摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面...
Spark3.0 调优参数 思维导图
11-09
Spark3.0 调优参数 思维导图，包含Spark, Spark Sql, Hadoop等参数
[2.4]以row_number为例解读spark sql的窗口函数
热门推荐
Memory of Mr.Snail
06-29 1万+
参考spark官网 王家林DT大数据梦工厂场景将本地文件toNGroup.txt中的内容：hadoop@master:~/resource$ cat toNGroup.txt hadoop 29 hadoop 87 hadoop 39 hadoop 27 hadoop 88 spark 29 spark 90 spark 27 spark 84 spark 92 hadoop@master:~/
用spark实现row_number()
qq_42456324的博客
11-16 1142
用spark实现row_number()
SQL | 窗口函数 | 连续登录、连续得分
weixin_46023346的博客
05-06 429
排序函数： ROW_NUMBER() OVER() 按照从上至下的顺序，连续排序，没有并列名次，1,2,3,4… RANK() OVER() 有并列名次，但是名次是不连续的，1,2,2,4… DENSE_RANK() OVER() 有并列名次，名次是连续的，1,2,2,3… 一、连续7天登录的总人数 1、创建表 CREATE TABLE IF NOT EXISTS login( uid INT, dt DATE, login_status INT )ENGINE=InnoDB DEFAULT CHARSET
解决Spark窗口统计函数rank()、row_number()、percent_rank()不能忽略空值问题
hwj_wayne的博客
01-23 4458
目录 【问题背景】 【解决方法1：计算空值占比、非空排序最小值，对结果进行映射】 【解决方法2：将排序列单独选出来，filter空值后再排序】 【解决方法3：进行两次排序，根据两次排序结果计算最终结果】 【优缺点对比】 【解决方法推荐】 【问题背景】 假如我们手头上有100w篇文章，想根据阅读量、点赞率对文章进行评分（阅读量>1000时，点赞率才有效）。这里拿5篇文章作为例子...
数仓SQL面试题（持续更新中...）
qq_32323239的博客
08-23 437
此种场景，一般先按照用户维度开窗，然后拿事件减去当前行的序号，就能将连续的数据得到相同的值，然后进行count：datediff(event_time, row_number over(partition by user_id order by event_time))。或者： row_number over(partition by 1 order by event_time) - row_number over(partition by user order by event_time)等。
sparksql比hivesql优化的点（窗口函数）
xiaoluobutou的专栏
02-09 454
hivesql与sparksql窗口函数，在分区和排序完全相同的情况下， 可以复用，但是分区相同， 排序不同的时候，sparksql是可以复用，hivesql则优化的差点
SQL 刷题
bluedraam_pp的博客
03-29 921
题库来源 题源 leetcode180. 连续出现的数字 题目请大家自己链接上的东西吧，下面是我写的解法。 with detail as ( select 1 as id , 1 as num union all select 2 as id , 1 as num union all select 3 as id , 1 as num union all select 4 ...
oracle中的with as子查询用法
fwj_ntu的博客
06-18 2448
在开发标签或者特征时，需要以基本对象为基础，做许多关联、计算或统计。 如果开发的特征数目少，涉及到的表也比较少，可能还可以写一大段关联一气呵成。然而，绝大多数情况下，随着标签涉及到基础数据表的膨胀，数据在关联中也不断膨胀，非常容易出问题。那么如何解决这个问题呢？ 在oracle中，with as 的子查询就非常好用。 标签开发的基本思路是这样的： 确定标签领域：比如此次标签或特征是打在user...
SQL拼多多面试题：如何找出连续出现N次的内容？（偏移窗口函数）
前景
08-08 1144
SQL拼多多面试题：如何找出连续出现N次的内容？（偏移窗口函数）
spark sql调优的所有参数
05-12
Spark SQL的调优参数可以分为以下几类： 1. Spark SQL的通用参数： - `spark.sql.shuffle.partitions`：控制shuffle操作...以上仅列举了一部分常用的Spark SQL调优参数，具体使用时需要根据实际情况进行选择和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值