Spark SQL如何实现mysql的union操作

最新推荐文章于 2025-05-06 18:20:34 发布
最新推荐文章于 2025-05-06 18:20:34 发布
阅读量5.9k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rlnLo2pNEfx9c/article/details/84801335
本文详细解析了SQL中UNION与UNION ALL的区别，包括它们如何处理重复记录、排序方式以及执行效率上的差异。并介绍了在SparkSQL中如何实现UNION与UNION ALL的功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

简介


今天聊了聊一个小小的基础题，union和union all的区别：

union all是直接连接，取到得是所有值，记录可能有重复  
union 是取唯一值，记录没有重复  
1、UNION 的语法如下：

[SQL 语句 1]
      UNION
[SQL 语句 2]

2、UNION ALL 的语法如下：

[SQL 语句 1]
      UNION ALL
[SQL 语句 2]


对比总结：

UNION和UNION ALL关键字都是将两个结果集合并为一个，但这两者从使用和效率上来说都有所不同。

1、对重复结果的处理：UNION在进行表链接后会筛选掉重复的记录，Union All不会去除重复记录。

2、对排序的处理：Union将会按照字段的顺序进行排序；UNION ALL只是简单的将两个结果合并后就返回。

从效率上说，UNION ALL 要比UNION快很多，所以，如果可以确认合并的两个结果集中不包含重复数据且不需要排序时的话，那么就使用UNION ALL。


Spark SQL

实际上Spark SQL的DataSet的API是没有union all操作的，只有union操作，而且其union操作就是union all操作。

此时要实现union操作，需要在union之后加上distinct操作。

sales.union(sales).show()

输出结果是有重复数据的

640?wx_fmt=png

需要将操作更改为：

sales.union(sales).distinct().show()


推荐阅读：

Spark SQL的几个里程碑！

Table API&SQL的基本概念及使用介绍

Spark SQL用UDF实现按列特征重分区

640?wx_fmt=png

Spark SQL增量查询Hudi表
主要分享大数据相关的知识，如Spark、Hudi
12-01 5321
Hive增量查询Hudi表。最近可能会有Spark SQL增量查询Hudi表的需求，并且我发现目前用纯Spark SQL的形式还不能直接增量查询Hudi表，于是进行学习总结一下。本文总结了Spark SQL增量查询Hudi表的一些参数设置，并给出了示例，介绍了使用纯Spark SQL实现增量查询Hudi表的几种方式，不确定未来社区会采用哪种方式，大家目前如果有这种需求的话，可以先选择一种自己喜欢的方式，等未来社区版本支持后，再升级版本。
Spark SQL | DataFrame的各种玩法
weixin_43646592的博客
06-28 999
Spark SQL | DataFrame的各种玩法
Spark实现用户订单数据表连接
11-19
Spark实现用户订单数据表连接，实现了用户信息表和订单信息表的内连接操作
记录一次SparkSQL union all语法错误
枪枪枪的博客
10-11 3233
以前在数据库工具上执行Hive QL用到union all时 直接这样写即可 select a union all select b union all select c 但是换到SparkSQL中执行却提示错误 diagnostics: User class threw exception: org.apache.spark.sql.catalyst.parser.ParseException: mismatched input ‘union’ expecting (line 18, pos 0)
在Spark中使用union all函数，union all底下代码数据缺失问题如何解决
最新发布
HSKJ_SJNKS的博客
05-06 363
总结：根据以上问题不难发现，此次union all函数底下代码的缺失和CTE有关，可以理解为在union all都是查询c这个临时表时，第一次相当于查询后修改了c这张临时表的结构，当按照第一次相当于将c变成只有lead_time为null的数据结构表，底下再查询c无法查询到其他非2999-99-99的数据；但实际的结果为union all下面（除2999-99-99的数据全丢失）的代码数据丢失，如下图。按照这次代码修改显示为了正确的结果，如下图（红框为验证数据所加代码，可省略）；上图两个红框标识两个类型。
Spark 及 Hive 中的 Union 猜想(有待更详细验证)
qq_29342297的博客
09-28 268
Hive 2.x -- 这句sql在hive中是无法执行的。 explain select id,id from people union select id,id from people 报错： 查看近似sql的查询计划。 Hive在使用union时,自动做了group by explain select city from test.student union select name from test.citys; 结合: explain select city from test.studen
记一次SparkSql的union操作异常
欢迎来到李奇峰的数据世界
05-27 4949
在某次使用sparksql中的union合并两个DataFrame时，发现总是报类型不匹配的错误，但是检查后发现两个DataFrame中无论是列名和列的类型，都是完全相同的，下面复现一下这个错误 object SqlTest { def main(args: Array[String]): Unit = { // 设置日志输出的级别 Logger.getLogger("or...
spark sql Dataframe 的 union、reduce、reduce(_ union _)
nefu_ljw的博客
01-03 1188
union返回一个新的数据集，其中包含此数据集中的行和另一个数据集中的行的并集。 这相当于 SQL 中的 UNION ALL。 要执行 SQL 样式的集合并集（对元素进行重复数据删除），请使用此函数，后跟一个不同的。
【小贪】数据库常用：MySQL, HQL, Spark SQL对比及常用语法
打瞌睡_的博客
04-08 912
近期致力于总结科研或者工作中用到的主要技术栈，从技术原理到常用语法，这次查缺补漏当作我的小百科。以下整理错误或者缺少的部分欢迎指正！！！
Spark SQL
Byyyi耀的博客
07-10 4743
Spark SQL详解
Spark SQL基本使用以及整合Hive
m0_69822077的博客
06-17 1346
​ Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。将SQL查询与Spark应用程序无缝组合​ Spark SQL允许使用SQL或熟悉的API在Spark程序中查询结构化数据。
SparkSQL DSL与SQL中union和union all的区别
DevSavantX的博客
09-12 421
这两种方法都支持使用union和union all操作符来合并多个查询结果集。本文将详细介绍SparkSQL DSL与SQL中union和union all的区别，并提供相应的源代码示例。因此，在选择使用union还是union all时需要根据具体的需求和数据特点进行权衡。希望本文对你理解SparkSQL DSL与SQL中union和union all的区别有所帮助。union操作符用于合并两个查询的结果集，并消除其中的重复记录。SparkSQL DSL与SQL中union和union all的区别。
【踩坑】SparkSQL union/unionAll 函数的去重问题
多言数穷，不如守中。十语九中，未必称奇；一语未中，愆尤骈集。
01-04 639
【代码】【踩坑】SparkSQL union/unionAll 函数的去重问题。
spark中union和unionAll
kwame211的博客
03-31 8414
spark中union 和 unionAll 区别。 union会把数据都扫一遍，然后剔除重复的数据； 然而unionAll直接把两份数据粘贴返回，时间上会快很多。 unionAll用的会比较多一些 union是返回两个数据集的并集，不包括重复行，要求列数要一样，类型可以不同 unionAll是返回两个数据集的并集，包括重复行 Intersect是返回两个数据集的交集，不包括重复行 Min...
2-2、spark的union和join操作演示
热门推荐
鲍礼彬的CSDN博客 ~_~
12-15 2万+
spark的union和join操作演示 union简介： 通常如果我们需要将两个select语句的结果作为一个整体显示出来，我们就需要用到union或者union all关键字。union(或称为联合)的作用是将多个结果合并在一起显示出来。 Union：对两个结果集进行并集操作，不包括重复行，同时进行默认规则的排序； (Union All：对两个结果集进行并集操作，包括重复行，
(spark源码)union算子
IAmListening的博客
07-04 4095
摘要 问题: spark中, union方法是否重新分区, 是否会触发shuffle 结论: 不会shuffle, 不会划分stage, 但是可能重新分区(窄依赖) 解释: 宽窄依赖对应的原称为ShuffleDependency和NarrowDependency, 字面上可以看出来, 只有宽依赖才会发生shuffle. 但是两种依赖都会重新分区, 因此重分区和是否shuffle没有关系 如...
Spark 实践 - RDD 的 union操作实例
Veechange的博客
12-13 1万+
一、概念简介：       RDD是Spark中最重要的抽象概念，叫做弹性式分布式数据集。在Spark的世界中，到处都是RDD，Spark提供了2种方式来操作RDD，分别为：转换、执行。转换、执行操作也内嵌了很多方法。       RDD也是一种数据集，RDD非常灵活，可以存储的数据类型非常灵活——基础类型如String，Int；也可以存储复杂类型——List、用户自定义类型等。      
spark中两表字段顺序不一致合并时union和unionAll的问题
NOT_GUY的博客
06-17 2847
背景：最近在利用spark合并两个表的时候，当两个表的字段顺序不一致时，合并后的结果是错误的。 举例：
Spark SQL UNION,EXPECT,INTERSECT之间的区别
weixin_42331985的博客
04-11 2426
Spark SQL EXPECT UNION INTERSECT
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值