Spark(29) -- SparkSQL底层如何执行及分布式SQL引擎

最新推荐文章于 2023-11-21 05:27:29 发布
最新推荐文章于 2023-11-21 05:27:29 发布
阅读量398 收藏 5
点赞数 2
分类专栏： 大数据学习 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eraining/article/details/108947804
版权
SparkSQL不同于RDD，它利用Catalyst优化器对SQL和Dataset代码进行解析和优化，生成逻辑和物理执行计划。Catalyst包括Parser、Analyzer和Optimizer，通过规则和代价优化生成高效执行策略。此外，SparkSQL提供了CLI和ThriftServer JDBC/ODBC Server，支持Beeline和JDBC/ODBC客户端进行交互式分析。
摘要由CSDN通过智能技术生成

1. RDD 和 SparkSQL 运行时的区别

RDD 的运行流程
在这里插入图片描述
大致运行步骤

  • 先将 RDD 解析为由 Stage 组成的 DAG, 后将 Stage 转为 Task 直接运行

问题

  • 任务会按照代码所示运行, 依赖开发者的优化, 开发者的会在很大程度上影响运行效率

解决办法

  • 创建一个组件, 帮助开发者修改和优化代码, 但这在 RDD 上是无法实现的

为什么 RDD 无法自我优化?

  • RDD 没有 Schema 信息
  • RDD 可以同时处理结构化和非结构化的数据

SparkSQL 提供了什么?<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
erainm
关注
专栏目录
订阅专栏
大数据Spark（三十三）：SparkSQL分布式SQL引擎
Lansonli（蓝深李）的博客
04-20 1196
停止使用:在实际大数据分析项目中，使用SparkSQL时，往往启动一个ThriftServer服务，分配较多资源（Executor数目和内存、CPU），不同的用户启动beeline客户端连接，编写SQL语句分析数据。Spark Thrift Server将Spark Applicaiton当做一个服务运行，提供Beeline客户端和JDBC方式访问，与Hive中HiveServer2服务一样的。回顾一下，如何使用Hive进行数据分析的，提供哪些方式交互分析？
Spark--------------------------sparkSQL知识点总结与hive类比
weixin_43740680的博客
08-08 353
1.spark模块 spark Core类比于MapReduce框架，对海量数据进行分析处理，分布式（并行计算） 核心：数据结构： RDD（弹性分布式数据集） a.转换函数 transformation 调用函数之后，将一个RDD转成另外一个RDD . b.Action函数 触发一个Job的执行 （1）将分析结果返回给Driver count，first，take，collec...
Spark SQL的分布式SQL引擎
jmx_bigdata的博客
03-15 619
目录 一、简介 二、使用Thrift JDBC/ODBC server 2.1概述 2.2使用案例 三、使用Spark SQL cli 一、简介 Spark SQL可以使用其JDBC / ODBC或命令行界面充当分布式查询引擎。在此模式下，终端用户或应用程序可以直接与Spark SQL交互以运行SQL查询，而无需编写任何代码。主要有两种方式，一种是Thrift JDBC/O...
Spark SQL之分布式SQL引擎
Thomson617的博客
02-22 820
Spark SQL还可以使用JDBC/ODBC或命令行接口充当分布式查询引擎。在这种模式下，终端用户或应用程序可以直接与Spark SQL交互来运行SQL查询，而不需要编写任何代码。 Running the Thrift JDBC/ODBC server 这里实现的Thrift JDBC/ODBC服务器对应于Hive 1.2.1中的HiveServer2。您可以使用Spark或Hive 1.2.1...
Spark SQL 自适应执行优化引擎
DataFlow范式
02-22 2348
在本篇文章中，笔者将给大家带来 Spark SQL 中关于自适应执行引擎（Spark Adaptive Execution）的内容。在之前的文章中，笔者介绍过 Flink SQL，目前 ...
Spark Sql教程(3）———DataFrame执行Sql查询
云飞扬的博客
05-07 3924
我们上一篇文章展示了利用dataframe自带的api进行操作，本文讲解利用sql进行查询。SparkSession提供了直接执行sql查询的接口，其步骤为注册临时表，然后进行sql查询 package sparksql import org.apache.spark.sql.SparkSession object SparkSqltest1 { def main(args: Array...
Spark系列---SparkSQL(一)介绍与使用
Mr.Cao
10-18 633
SparkSQL前世今生 SparkSQL 1.0版本之前：Shark -> Hive on Spark SparkSQL 1.0版本之后：SparkSQL SparkSQL 1.3.X版本：SparkSQL+DataFrame SparkSQL 1.5.X版本：SparkSQL+钨丝计划 SparkSQL 1.6.X版本：SparkSQL+DataFrame+DataSet Spark...
五分钟学大数据-SparkSQL底层执行原理
最新发布
03-06
为了改进这一点，Shark应运而生，它是在Spark之上实现的一个分布式SQL查询引擎，旨在提高Hive SQL的性能。 ##### 2. SparkSQL-DataFrame的诞生 随着Spark的发展，社区意识到需要一个更加高效且灵活的数据处理模型...
SparkSQL的分布式执行引擎(Spark ThriftServer)
07-03
**SparkSQL的分布式执行引擎——Spark ThriftServer详解** SparkSQL是Apache Spark项目的一个核心组件，它提供了对结构化数据的处理能力，使得用户可以使用SQL或者DataFrame/Dataset API进行数据查询和分析。Spark ...
Spark SQL的使用
fcx1234的博客
11-21 1745
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！
spark sql 底层原理:
weixin_43737594的博客
11-17 998
1- sparkSQL底层解析是有RBO 和 CBO优化完成的 2- RBO是基于规则优化, 对于SQL或DSL的语句通过执行引擎得到未执行逻辑计划, 在根据元数据得到逻辑计算, 之后加入列值裁剪或谓词下推等优化手段形成优化的逻辑计划 3- CBO是基于优化的逻辑计划得到多个物理执行计划, 根据代价函数选择出最优的物理执行计划 4- 通过codegenaration代码生成器完成RDD的代码构建 5- 底层依赖于DAGScheduler 和TaskScheduler 完成任务计算执行 ...
spark sql 执行hql
sunlang的博客
05-27 743
在shell脚本中，hql使用 $hive -e "$sql" 这里将hive的mr替换为spark 前提条件，配置好spark on hive 将$hive 替换为$spark-sql就可以了 如果遇到小文件过多的问题，在sql中设置set spark.sql.shuffle.partitions=100; ...
24 分布式SQL执行引擎
THE ORDER
03-14 2631
1 概念 2 配置 3 测试 总结 分布式SQL执行引擎就是使用Spark提供的ThriftServer服务，以“后台 进程”的模式持续运行，对外提供端口。 可以通过客户端工具或者代码，以JDBC协议连接使用。 SQL提交后，底层运行的就是Spark任务。 相当于构建了一个以MetaStore服务为元数据，Spark为执行引擎的数 据库服务，像操作数据库那样方便的操作SparkSQL进行分布式的SQL计算 ...
sparkSQL实战详解
weixin_33896726的博客
09-11 729
摘要 如果要想真正的掌握sparkSQL编程，首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识，然后就是对各个层级关系有一个清晰的认识后，才能真正的掌握它，对于sparkSQL整体框架这一块，在前一个博客已经进行过了一些介绍，如果对这块还有疑问可以看我前一个博客：http://9269309.blog.51ct...
Spark SQL在超大集群上的自适应执行实践
qq_19917081的博客
01-17 705
Spark SQL在超大集群上的自适应执行实践【spark如何更有效率的执行】 http://www.aboutyun.com/thread-23803-1-1.html (出处: about云开发)
详解Spark SQL 底层实现原理(parser、analyzer、optimizer、physical plan)
cjl的博客
10-22 3642
Spark SQL 底层实现原理1. Spark SQL架构设计2. sparkSQL执行过程3. SQL举例4. Catalyst执行过程4.1 sql解析阶段Parser4.2 绑定逻辑计划Analyzer4.3 逻辑优化阶段Optimizer4.3.1 谓词下推4.3.2 列裁剪4.3.3 常量替换4.3.4 常量累加4.4 生成可执行的物理计划阶段Physical Plan4.5 代码生成阶段4.5.1 生成代码与sql解析引擎的区别5. Spark SQL 执行过程总结 1. Spark SQL架
失败的sparkSql使用问题记录
一步一步
05-02 3427
问题1、为什么很大的表，最里层的map只用1094个task呢？导致一直gc,   最后失败。 问题2，用row获取数据的时候，在sql中聚合的结果到底是integer还是long呢，总报数据类型转换错误，全改成Integer不对，全改成long也不对（这是在第一个问题换成极小的数据后发现的问题。。。df,schema看一下schema可以解决，但是第一个解决不了我就懒得看了。。
Spark SQL底层执行流程详解
weixin_43597208的博客
04-26 1347
目录一、Apache Spark二、Spark SQL发展历程三、Spark SQL底层执行原理四、Catalyst 的两大优化 一、Apache Spark Apache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。 Spark源码从1.x的40w行发展到现在的超过100w行，有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程。 二、Spark SQL发
spark sql 执行流程
xuetaoxuetao的博客
01-10 8072
在前面的文章《spark基础（上篇）》和《spark基础（下篇）》里面已经介绍了spark的一些基础知识，知道了spark sql是spark中一个主要的框架之一。本文我们通过源码，来介绍下spark sql的执行流程。 　　 Spark sql是spark内部最核心，也是社区最活跃的组件。Spark SQL支持在Spark中执行SQL,或者HiveQL的关系查询表达式。列式存储的类RDD（D
sparksql底层执行的原理详解(面试必备)
03-16
Spark SQL是基于Spark的分布式计算框架，用于处理结构...总之，Spark SQL底层执行的原理是基于Spark Core的分布式计算框架，使用Catalyst优化器、Tungsten引擎和DataSource API等组件，实现了高效的SQL查询和数据处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值