SPARKSQL3.0-DataFrameAPI与spark.sql()区别源码分析

已于 2023-04-20 12:12:08 修改
阅读量1k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Spark3.0-SQL内核源码剖析 文章标签： spark sql 大数据 sparksql DataFrame
于 2022-11-22 11:15:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35128600/article/details/127979242
本文详细分析了SparkSQL3.0中DataFrameAPI与spark.sql()的区别，主要在于DataFrameAPI省略了SQL字符串解析阶段，直接构建logicalPlan。在Analyzer、Optimizer和物理执行计划阶段，两者执行流程一致。文中通过源码分析，展示了DataFrameAPI如何逐步构建logicalPlan并执行。

一、前言：

阅读本节需要先掌握spark-sql内部执行的基本知识：

SessionState

Unresolved阶段

Analyzer阶段中queryExecution的介绍

二、区别

spark.sql的执行顺序为: sql字符串 -> antlr4解析成AST语法树 -> unreolved解析成logicalPlan -> Analyzer解析 -> Optimizer优化 -> 后续物理执行计划

DataFrame执行顺序: 根据api直接构建logicalPlan -> 根据调用不同的api嵌套成新的logicalPlan【部分函数包含Analyzer解析】 -> action算子触发Optimizer优化 -> 后续物理执行计划

可以看出dataFrameAP

了解本专栏 订阅专栏 解锁全文 超级会员免费看
SPARKSQL3.0-源码剖析全流程导读
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 1662
SPARKSQL3.0-源码剖析全流程导读
SPARKSQL3.0-Optimizer阶段源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 1156
SPARKSQL3.0-Optimizer阶段源码剖析
DataFrame和SparkSql使用区别
LALALA3_3的博客
12-04 1678
启动交互shell [root@hdp-1 bin]# ./spark-shell --master spark://hdp-2:7077 --executor-memory 500m --total-executor-cores 1 –master spark://hdp-2:7077 sparkmaster节点的地址 –executor-memory 500m –total-executor...
用sparksql处理的时候， 处理过程中用的dataframe还是直接写的sql？为什么？
qq_45450889的博客
06-29 965
最终选择使用哪种方式取决于具体情况。如果你更习惯使用SQL并且查询逻辑相对简单，那么直接编写SQL查询可能是更好的选择。另一方面，如果需要更灵活的转换选项、类型安全以及更好的集成性能，那么使用DataFrame API可能更适合你。在Spark SQL中处理数据时，可以使用DataFrame API或直接编写SQL查询语句。这两种方式都是有效的，但选择哪一种依赖于你的具体需求和个人偏好。
Spark SQL与 DataFrame
abcdrachel的博客
08-29 2030
Spark SQL是Spark生态系统中非常重要的组件，其前身为Shark。Shark是Spark上的数据仓库，最初设计成与Hive兼容，但是该项目于2014年开始停止开发，转向Spark SQL。Spark SQL全面继承了Shark，并进行了优化。 Shark即Hive on Spark，为了实现与Hive兼容，Shark在HiveQL方面重用了Hive中的HiveQL解析、逻辑执行计划翻译...
Spark SQL与DataFrame
01-16 1128
Spark SQL是2013年出现的
SPARKSQL3.0-Catalog源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 1533
SPARKSQL3.0-Catalog源码剖析
spark sql query 剖析
zhixingheyi_tian的博客
11-13 603
生成 unresolved LogicalPlan // abstract class AbstractSqlParser` /** Creates LogicalPlan for a given SQL string. */ override def parsePlan(sqlText: String): LogicalPlan = parse(sqlText) { parser =&gt...
Spark 3.0 - 2.机器学习核心 DataFrame 应用 API 与操作详解
BITDDD小栈
11-17 1091
Spark 3.0 DataFrame API 详解。
Spark之SparkSQL和DataFrame
lixinkuan的博客
10-11 1259
目录 一、SparkSQL介绍 二、DataFrame 三、创建DataFrame的几种方式 3.1、读取json格式的文件 3.2、读取json格式的RDD/DataSet 3.3.1、读取RDD创建DataFrame（CreateDFFromRDDWithReflect） 3.3.2、读取RDD创建DataFrame（CreateDFFromRDDWithStruct） 3....
SparkSQL之DataFrame API
vincent_duan的专栏
03-28 315
测试文件 测试文件employees.json，内容如下： {"name":"Michael", "salary":3000, "age": 28} {"name":"Andy", "salary":4500} {"name":"Justin", "salary":3500} {"name":"Berta", "salary":4000} {"name":"vincent", "salary":9...
Spark3.3.0的DataFrame及Spark SQL编程的性能对比【单机模式下】
虎鲸不是鱼
12-16 1941
对比了Spark3.3.0的DataFrame及Spark SQL编程的性能，分析出Shuffle性能瓶颈可能是硬盘IO或者交换机带宽
Spark SQL和DataFrame
gltncx11的博客
01-14 339
Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用. 由于MapReduce这种模型执行效率较慢,所以Spark SQL应用而生,它是将Spark SQL转换成RDD,然后提交到集群执行,执行效率非常快. DataFrame:与RDD类似,DataFrame也是一个分布式数据容器.然而DataFrame更像传统数...
第五章 Spark的DataFrame与Spark SQL
qq_56437391的博客
04-08 1639
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 随着Spark版本的更迭，不足凸显出来，它处在底层，在实际开发中效率低下，因此进行了高层封装，诞生了Spark DataFrame和Spark SQL、 一、DataFrame是什么？ DataFrame是一种以 RDD为基础的分布式数据集，类似于传统数据库中的二维 表格。DataFrame与 RDD的.
Spark SQL 初始2 之 DataFrame API（2.0）
xuetaoxuetao的博客
12-20 382
什么是DataFrame 1.  DataFrame 是Spark SQL的主要数据抽象（RDD是Spark的主要数据抽象） 是相同模式行的分布式集合（这些行以命名的列方式组织），等同于关系数据库的表 支持关系操作（selecting， filtering， aggregating, and plotting structured data）。 2. DataFrame 支持从已存在的原生
SparkSQL中DataFrame常用API
空谷幽兰草堂
04-17 3406
package com.fosun.sparkdemo; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.sql.DataFrame; import org.apache.spark.sql.SQLContext; impor
spark SQL、Dataframe、Dataframe 和 RDD 的区别、spark SQL WordCount
赤兔胭脂小吕布的博客
03-11 481
目录首先让我们来回顾一下 spark 的生态系统spark SQLDataframeDataframe 和 RDD 的区别spark SQL WordCount首先让我们来回顾一下 spark 的生态系统 spark SQL Dataframe 与RDD类似，DataFrame也是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格，除了数据以外，还掌握数据的结构信息，即sch...
SparkSQL 1.3.0：DataFrame API提升易用性与性能
连城，作为Databricks的工程师和Spark Committer，SparkSQL的主要开发者之一，在2015年的Spark技术峰会上，他分享了关于如何通过Spark SQL进行结构化数据分析的主题演讲，强调了DataFrame在提升数据处理效率方面的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Light Gao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值