Spark系列（5）—— SparkSQL 查询连接操作

shangjg3

已于 2025-01-07 11:15:39 修改

阅读量292

点赞数

分类专栏：大数据从入门到精通文章标签： spark sql 大数据

于 2023-10-07 07:58:09 首次发布

本文链接：https://blog.csdn.net/shangjg03/article/details/133556200

版权

大数据从入门到精通专栏收录该内容

95 篇文章 6 订阅 ¥19.90 ¥99.00

订阅专栏

本文详细介绍了Spark SQL中的各种连接操作，包括INNER JOIN、FULL OUTER JOIN、LEFT OUTER JOIN、RIGHT OUTER JOIN、LEFT SEMI JOIN、LEFT ANTI JOIN、CROSS JOIN和NATURAL JOIN，并通过示例代码展示了每种连接的用法。此外，还讨论了连接的执行过程，特别是大表和小表连接时的优化策略，如广播连接。

摘要由CSDN通过智能技术生成

本专栏案例代码和数据集链接： https://download.csdn.net/download/shangjg03/88477827

1.数据准备

本文主要介绍 Spark SQL 的多表连接，需要预先准备测试数据。分别创建员工和部门的 Datafame，并注册为临时视图，代码如下：

val spark = SparkSession.builder().appName("aggregations").master("local[2]").getOrCreate()

val empDF = spark.read.json("/data/file/json/emp.json")
empDF.createOrReplaceTempView("emp")

val deptDF = spark.read.json("/data/file/json/dept.json")
deptDF.createOrReplaceTem

了解本专栏