Spark SQL UNION,EXPECT,INTERSECT之间的区别

青春程序不迷路

于 2022-04-11 13:56:34 发布

阅读量2.3k

点赞数

分类专栏： spark 文章标签： spark python

本文链接：https://blog.csdn.net/weixin_42331985/article/details/124097622

版权

本文介绍了Spark SQL中三种集合操作的区别：UNION用于合并两个数据集的所有记录，EXCEPT返回只在第一个数据集中存在的记录，而INTERSECT则找出两个数据集共有的记录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark SQL UNION,EXPECT,INTERSECT之间的区别

from pyspark.sql import SparkSession

if __name__ == '__main__':
    spark = SparkSession.builder.getOrCreate()
    df1 = spark.createDataFrame([[3], [1], [2], [2], [3

最低0.47元/天解锁文章