Hudi Spark SQL源码学习总结-select（查询）

已于 2022-11-18 15:25:11 修改
阅读量735 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Spark Hudi 源码 文章标签： Hudi 源码 Spark
于 2022-08-17 09:52:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/126379436
本文探讨了Spark SQL使用`select`查询Hudi表的源码逻辑，从parsing、analysis到optimization和planning阶段。通过对比`spark.read.format("hudi").load`，发现两者最终走的逻辑相同，都是通过查找Hudi DataSource并调用相应的查询逻辑。总结了关键方法如`singleStatement`、`ResolveRelations`和`Spark2DefaultDatasource.createRelation`等。

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

上一篇文章Hudi Spark源码学习总结-spark.read.format(“hudi”).load分析了load方法直接查询Hudi表路径的源码逻辑，那么Spark SQL select 表名的方式和load最终走的逻辑是一样的吗？本文带着这个疑问来分析一下select查询Hudi表的源码逻辑

版本

Spark 2.4.4
Hudi master 0.12.0-SNAPSHOT 最新代码
（可以借助Spark3 planChangeLog 打印日志信息查看哪些规则生效,Spark3和Spark2生效的规则大致是一样的）

示例代码

先Create Table，再Insert几条数据

spark.sql
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hudi Spark SQL总结
主要分享大数据相关的知识，如Spark、Hudi
05-18 1703
前言 总结Hudi Spark SQL的使用，本人仍然以Hudi0.9.0版本为例，也会稍微提及最新版的一些改动。Hudi 从0.9.0版本开始支持Spark SQL，是由阿里的pengzhiwei同学贡献的，pengzhiwei目前已不负责Hudi,改由同事YannByron负责，现在又有ForwardXu贡献了很多功能特性，目前好像主要由ForwardXu负责。 三位都是大佬，都是Apache Hudi Committer，膜拜大佬，向大佬学习！！！大佬的github: 彭志伟（阿里） pengzhi
[Spark SQL基础]-- 基本语法之 select [hints ...]
欢迎来到我的博客，一起探索代码里的世界！
05-23 3212
背景 今天偶然有机会看见了以前一位同学在 join 中使用了 mapjoin 小表广播的优化，由此激起了我对 select 语法中的 hints 部分的深入挖掘，并分享出来，供小伙伴们参考，不足之处，还望赐教！ 目录 select 基本语法 hints 来源 hints 的语法和选项 hints 使用的组合 内容 1 select 基本语法结构 SELECT [hin...
SparkSql执行select查询
qq_16563637的博客
08-09 5913
package cn.itcast.spark.test import java.sql.{Connection, Date, DriverManager, PreparedStatement} import java.util.Properties import org.apache.spark.sql.{DataFrame, SQLContext} import org.apache.sp...
spark sql select selectExpr简析
bitcarmanlee的博客
10-26 7600
1.select方法 dataframe的select方法，最简单的使用方式为直接选择对应的列名。 测试数据如下 101 brand1 101 brand2 101 brand3 102 brand1 102 brand3 102 brand3 102 brand4 103 brand2 103 brand2 103 brand2 103 brand5 103 brand5 def parse() = { val sparkConf = new SparkConf().setMaster("l
2020-11-23
m0_52618304的博客
11-23 315
求解:输入一批数值型数据，存入数组后，按顺序和逆序分别打印输出
Hudi Spark SQL源码学习总结-Create Table
主要分享大数据相关的知识，如Spark、Hudi
07-22 1953
简要总结HudiSparkSql源码执行逻辑，从建表开始。其实从去年开始接触Hudi的时候就研究学习了HudiSparkSQL的部分源码，并贡献了几个PR，但是完整的逻辑有些地方还没有完全梳理清楚，所以现在想要从头开始学习，搞懂一些知识难点，这样以后看相关源码的时候就不会导致因为一些关键点不懂影响进度。由于本人能力和精力有限，本文只讲解自己觉得比较关键的点，主要目的是梳理整个流程。搞懂了SparkSQL默认的sqlParser为,那么Hudi是一样的吗？那我们就需要看一下开始的这里的f为为。...
Hudi Spark SQL源码学习总结-CTAS
主要分享大数据相关的知识，如Spark、Hudi
08-01 1178
上一篇文章Hudi Spark SQL源码学习总结-Create Table总结了Create Table的源码执行逻辑，这一篇继续总结CTAS，之所以总结CTAS，是之前在我提交的一个PR中发现，Spark2和Spark3.2.1版本的CTAS的逻辑不一样，最终走的Hudi实现类也不一样，所以本文分Spark2和Spark3.2.1两个版本分析......
Hudi Spark源码学习总结-df.write.format(“hudi“).save
主要分享大数据相关的知识，如Spark、Hudi
08-03 1205
在开始学习Hudi的时候，我们知道通过可以实现写Hudi，并且写Hudi的逻辑是在实现的，但是始终有一个疑问：它怎么从跳到中的呢？本文就是主要来回答这个问题的。本文分析总结了从到的调用逻辑，解决了自己最开始学习Hudi时的一个疑惑😄,希望对大家也能有所帮助。......
Hudi Spark SQL Call Procedures学习总结（一）（查询统计表文件信息）
主要分享大数据相关的知识，如Spark、Hudi
11-25 2262
学习总结Hudi Spark SQL Call Procedures，Call Procedures在官网被称作存储过程（Stored Procedures），它是在Hudi 0.11.0版本由腾讯的ForwardXu大佬贡献的，它除了官网提到的几个Procedures外，还支持其他许多Procedures命令。本文先学习其中的几个我觉得比较常用的命令，主要是查询统计表路径下的各种文件信息。
Hudi（7）：Hudi集成Spark之spark-sql方式
yang_shibiao的博客
01-02 3555
默认情况下，如果提供了preCombineKey，则insert into的写操作类型为upsert，否则使用insert。hoodie.sql.bulk.insert.enable 和 hoodie.sql.insert.mode。不需要指定模式和非分区列（如果存在）之外的任何属性，Hudi可以自动识别模式和配置。同hoodie.datasource.write.table.type。为了提高向hudi表加载数据的性能，CTAS使用批量插入作为写操作。表的主键名，多个字段用逗号分隔。
MySQL select 源码_探索MySQL源代码–sql历险记
weixin_35863455的博客
02-26 603
本文从一个select语句的执行过程出发, 遍历MySQL的多个几子系统.先放图一张, 按图索骥开始我们的历险.当客户端连接上MySQL服务端之后,发出请求之前,服务端的线程是阻塞在do_command(sql/parse.cc)里的my_net_read函数中(就是socket里的read).当客户端键入sql语句(本文例子select * from zzz)发送到服务端之后, my_net_r...
spark Sql选择列和选择行的函数
只想买把蝴蝶knife
03-24 2673
在spark sql中，行和列是非常重要的，但是sql中的一些函数是非常容易混淆的，比如filter、select、where函数，特此写一篇博客来记录这些区别。 select 函数是从dataframe中取得列，有以下几种格式: select(cols : Column*) : DataFrame select(col : String, cols : String*) : DataFrame select[U1](c1 : TypedColumn[T, U1]) : Dataset[U1] sele
spark sql 查询select 语句 select as 字段中文别名
sinyonde的博客
06-30 3427
在 Spark SQL 中，使用双引号命名字段别名时，只能使用英文字符，不能使用中文字符。这样就可以避免使用双引号命名中文字段别名时的错误。
spark数据查询语句select_SparkSQL常用操作
weixin_39853210的博客
12-21 1555
1、从json文件创建dataFrameval df: DataFrame = sqlContext.read.json("hdfs://master:9000/user/spark/data/people.json")val people = df.registerTempTable("person")val teenegers: DataFrame = sqlContext.sql("sele...
SQL语言基础：常用的数据查询语句
IT技术分享社区
11-21 904
1、创建表语法格式：creat table <表名> (<,列名><数据类型>[列级完整性约束条件]<,列名><...
SparkSQL操作Hudi指南
微信搜：import_bigdata，大数据领域硬核原创作者
03-20 3540
全网最全大数据面试提升手册！文章目录一、SparkSQL连接Hudi1.1 Hive配置1.2 SparkSQL连接Hudi二、创建表2.1 常规的建表2.2 CTAS三、插入数据四、查询数据五、更新数据5.1 普通5.2 MergeInto六、删除数据七、Insert Overwrite一、SparkSQL连接Hudi1.1 Hive配置我们需要将Hive 的 metastore服务独立出来--...
Spark SQL
mthinking
05-03 1189
Hive //hadoop mr sql pheonix //hbase之上构建sql交互过程 该模块能在spark运行sql语句。 DataFrame //收据框.表. SparkSQL //SQL | DataFrame API. 使用类似SQL方式访问hadoop，...
spark SQL
Jon Shen的博客
12-28 2517
1. Spark下创建Dataframe 一般是通过SparkSession 导入数据来创建的。dataframe可以通过访问文件系统或创建RDD来获得。 创建RDD来生成dataframe数据： 调用spark.read.json()方法可以实现RDD到dataframe的转换，而且是直接执行的，但是创建临时表createOrReplaceTempView() 操作只有执行到dataframe动作时，创建临时表才会执行。 2. DataFrame查询和字段类型设置 spark 中的datafra
「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成
微信搜：import_bigdata，大数据领域硬核原创作者
02-28 2402
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。一、各种整合hive集成hudi方法：将hudi...
spark-sql模式如何查询hudi表
最新发布
08-12
首先，用户的问题是：“我想用户想要了解如何在Spark SQL中查询Hudi表 请问如何在Spark SQL中查询Hudi表”。所以，我需要提供关于如何在Spark SQL中查询Hudi表的指导。 系统级指令： - 所有行内数学表达式必须使用$...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值