Spark系列（15）—— SparkSQL语法优化

已于 2025-01-07 11:19:00 修改
阅读量909 收藏
点赞数 17
分类专栏： 大数据从入门到精通 文章标签： 大数据 spark 分布式
于 2023-11-12 04:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/134355562
版权
本文详细介绍了SparkSQL的优化策略，包括基于RBO的谓词下推、列剪裁和常量替换，以及基于CBO的统计信息收集和使用。此外，还讨论了广播Join和SMB Join的优化方法，帮助提升SparkSQL的执行效率。
摘要由CSDN通过智能技术生成

SparkSQL在整个执行计划处理的过程中，使用了Catalyst 优化器。

1 基于RBO的优化

在Spark 3.0 版本中，Catalyst 总共有 81 条优化规则（Rules），分成 27 组（Batches），其中有些规则会被归类到多个分组里。因此，如果不考虑规则的重复性，27 组算下来总共会有 129 个

了解本专栏 订阅专栏 解锁全文
Spark系列（4）—— SparkSQL常用聚合函数
shangjg3的博客
10-06 216
通常在使用大型数据集时，你可能关注的只是近似值而不是准确值，这时可以使用 approx_count_distinct 函数，并可以使用第二个参数指定最大允许误差。以下分别使用两种方式来自定义一个求平均值的聚合函数，这里以计算员工平均工资为例。- 无类型的自定义聚合函数，主要适用于 DataFrame。- 有类型的自定义聚合函数，主要适用于 DataSet；求和以及求指定列所有不相同的值的和。3.2 无类型的自定义聚合函数。3.1 有类型的自定义函数。1.10 聚合数据到集合。内置的求平均数的函数。
大数据——SparkSQL学习笔记
koooooooo5的博客
05-07 630
Spark 一、SparkSQL简介 ​ Spark用来处理结构化数据的一个模块，它提供了两个编程抽象分别叫做DataFrame和DataSet，它们用于作为分布式SQL查询引擎（类似于Hive，为便于进行MapReduce操作而使用类SQL语句进行Spark操作）。 ➢ 数据兼容方面 SparkSQL 不但兼容 Hive，还可以从 RDD、parquet 文件、JSON 文件中获取数据，未来版本甚至支持获取 RDBMS 数据以及 cassandra 等 NOSQL 数据； ➢ 性能优化方面 除了采取 In
Spark5——SparkSQL
qq_42873479的博客
05-26 629
Spark5——SparkSQLSparkSQL相关概念DataFrameDataSetSparkSQL核心编程DataFrameDataSet三者的区别三者的相互转换用户自定义函数UDFUDAF数据的加载和保存通用的加载和保存方式 SparkSQL相关概念 DataFrame 在 Spark 中，DataFrame 是一种以 RDD 为基础的分布式数据集，类似于传统数据库中的二维表格。DataFrame 与 RDD 的主要区别在于，前者带有 schema 元信息，即 DataFrame所表示的二维表数据集
Spark知识点整理（二）——SparkSQL部分
程序员小菜鸡Cjp的博客
07-20 624
1.SparkSQL概述 (1) 定义：SparkSQL是基于SparkCore专门为模块化计算设计的模块 (2) 功能： 提供SQL和DSL开发接口，将SQL或者DSL语句转换为SparkCore程序，实现结构化的数据处理 (3) 特点 ① Integrated：集成了大多数的开发接口 DSL：函数式编程实现开发，可使用DSL函数、RDD函数以及SQL关键字形成的函数 SQL：使用SQL语句编程开发 ② Uniform Data Access：统一化的数据访问 封装了常用的所有数据源读写接口，文
Spark学习笔记（12）——SparkSQL
一角残叶的博客
10-23 365
1 SparkSQL 介绍 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spa...
大数据课程K21——Spark的SparkSQL基础语法
u013955758的专栏
09-05 907
val emp=sc.parallelize(List((1,100,"张财务"),(2,100,"李会计"),(3,300,"王艳发"))).toDF("id","did","name"){"name":"陈晨","address":{"city":"西安","street":"南二环甲字1号"}}{"name":"娜娜","address":{"city":"西安","street":"南二环甲字2号"}}orderBy/sort($"列1" , $"列2".desc) 按两列排序。
PySpark基础 —— SparkSQL
qq_52421831的博客
10-18 3966
PySpark基础 —— SparkSQL
Spark学习（6）——SparkSQL(1)
RuiKe的博客
07-06 494
一、SparkSQL介绍 1.1、Shark介绍 hark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。 Shark是完全兼容Hive的语法，表结构以及UDF函数等，已有的HiveSql可以直接进行迁移至Shark上Shark底层依赖于Hive的解析器，查询优化器，但正是由于Shark的整体设计架构对Hive的
spark学习笔记（八）——sparkSQL概述-定义/特点/DataFrame/DataSet
qq_55906442的博客
08-08 419
sparkSQL是spark用于结构化数据处理的spark模块。
Spark入门——5 SparkSQL
大白菜的奋斗专栏
06-14 919
SparkSQL是在Spark1.0版本才加入
【MQ】探索 Kafka
贾斯丁的博客
01-24 844
消息的顺序性、顺序写磁盘零拷贝RocketMQ内部主要是使用基于mmap实现的零拷贝，用来读写文件减少cpu的拷贝次数和上下文切换次数，实现文件的高效读写操作零拷贝顺序写磁盘页缓存技术批量传输与压缩消息网络模型分区并发高效的文件数据结构。
【Prometheus】RabbitMQ安装部署，如何通过prometheus监控RabbitMQ
景天科技苑
01-24 5168
RabbitMQ是一个开源的消息代理和队列服务器，它使用Erlang语言编写并运行在多种操作系统上，如Linux、Windows等。RabbitMQ可以接收、存储和转发消息（也称为“事件”）到连接的客户端。它适用于多种场景，包括异步通信、流量削峰、应用解耦等。本文详述RabbitMQ的安装部署和通过prometheus监控RabbitMQ的方法
doris: CSV导入数据
最新发布
qq_36070104的博客
01-25 962
doris: CSV导入数据
zookeeper的介绍和简单使用
qq_73797346的博客
01-22 1134
zookeeper是一个开源的分布式协调服务，由Apache软件基金会提供，主要用于解决分布式应用中的数据管理、状态同步和集群协调等问题。通过提供一个高性能、高可用的协调服务，帮助构建可靠的分布式系统。Zookeeper采用Leader-Follower架构，集群通常由奇数个节点组成，以确保在网络分区或节点故障时仍能实现一致性与可用性。核心机制是ZAB协议（Zookeeper Atomic Broadcast），一种崩溃恢复的原子广播协议，保证了在网络分区和崩溃时的最终一致性和持久性。
【Elasticsearch】_reindex api请求
risc123456的博客
01-23 566
在Elasticsearch中，你可以使用 `_tasks` API 来检查 `_reindex` 任务的状态。当你发起一个 `_reindex` 请求时，Elasticsearch 会返回一个任务 ID，你可以使用这个任务 ID 来查询任务的详细状态。如果需要取消正在进行的 `_reindex` 任务，你可以使用 `_tasks` API 的 `cancel` 功能。在这个响应中，`"tasks": "node_id:task_id"` 是任务的唯一标识符。- `completed`: 任务是否已完成。
Kafka 如何实现高性能
言之。
01-25 639
分布式架构与分区机制提高并行处理能力。顺序写入磁盘与批量处理减少 I/O 延迟。压缩与零拷贝提升网络和存储的效率。副本机制与消费者分组保证高可用性与吞吐量。流控与负载均衡保障系统在高并发下的稳定性。这些设计使得 Kafka 能够在大规模、高吞吐量、低延迟的场景中发挥出色的性能。
Elasticsearch 性能测试工具 Loadgen 之 004——高级用法示例
铭毅天下Elasticsearch
01-23 603
在性能测试中，能够灵活地模拟不同的应用场景是至关重要的。Loadgen 提供了多种高级用法，帮助用户更好地评估系统在不同负载下的表现。本文将介绍如何使用 Loadgen 模拟批量摄取、限制客户端负载以及限制总请求数。一、模拟批量摄取在实际应用中，系统常常需要处理大量数据的批量摄取操作。Loadgen 可以轻松模拟这一过程，以评估系统在批量处理时的性能。示例配置 以下是一个批量摄取的请求配置示例：-...
doris：Routine Load
qq_36070104的博客
01-23 1171
doris：Routine Load
DataStream API
金州饿霸吃不饱的博客
01-23 925
DataStream API是Flink的核心层API。一个Flink程序，其实就是对DataStream的各种转换。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值