Spark2.x之SQL/join关联报CROSS JOIN错误

最新推荐文章于 2023-01-11 20:15:00 发布

神之凝视

最新推荐文章于 2023-01-11 20:15:00 发布

阅读量2.1k

点赞数

分类专栏： Spark 大数据文章标签： spark

本文链接：https://blog.csdn.net/qq_27600723/article/details/106842505

版权

本文分析了Spark中遇到的CROSS JOIN错误，涉及算子join和SQL语句两种关联方式。当执行没有指定关联字段或产生笛卡尔积的join时，会触发异常。解决方法是配置相应的参数来支持CROSS JOIN。

摘要由CSDN通过智能技术生成

一.算子join

在Spark中，两个dataframe关联分为使用算子join关联和使用视图SQL关联两种。在使用join算子关联时，一般的关联语句是这样的：

words_df.join(words_df, words_df("word") === words_df("word")).show()
words_df.join(words_df, words_df("word") === words_df("word"), joinType =

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

神之凝视

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

SparkSQL 函数 crossjoin()

m0_69097184的博客

12-19

978

crossJoin是 Spark SQL 中用于连接两个 DataFrame 的操作。这个操作会生成一个新的 DataFrame，其中包含两个原始 DataFrame 中所有可能的行组合，即它是一种笛卡尔积。

Spark SQL中出现 CROSS JOIN 问题解决

asdfgh0077的博客

02-17

456

Spark SQL中出现 CROSS JOIN 问题解决

1 条评论您还未登录，请先登录后发表或查看评论

spark sql 中的笛卡尔积（cross join）优化方法--mapjoin

samur2的博客

01-11

2628

在编写sql代码时，需要尽量少使用笛卡尔积，但是有些特殊场景下很难找到代替方案。这里分享了在进行spark sql 编写任务作业时遇到笛卡尔积导致执行慢的问题，并记录了解决方案

Spark中的笛卡尔积crossjoin

weixin_43648241的博客

09-17

1764

a 1,a,100 2,b,80 3,c,70 b abc,200,12 bbb,100,23 ccc,300,35 a.crossjoin(b)的结果是 1,a,100, abc,200,12 2,b,80 , abc,200,12 3,c,70 , abc,200,12 1,a,100, bbb,100,23 2,b,80 , bbb,100,23 3,c,70 , bbb,100,23 1,a,100, ccc,300,35 2,b,80 , ccc,300,35 3,c,70 , ccc,300

spark.sql.crossjoin.enabled

最新发布

04-06

'b'spark.sql.crossjoin.enabled''是一个Spark SQL的配置属性，表示是否启用Spark SQL中的交叉连接查询功能。如果设置为true，则允许在SQL语句中使用CROSS JOIN语句进行交叉连接查询。如果设置为false，则禁止使用该...

Spark的五种JOIN策略详细

xby18772963985的博客

11-29

960

JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，希望对你有所帮助。本文主要包括以下内容：影响JOIN操作的因素 Spark中JOIN执行的5种策略 Spark是如何选择JOIN策略的影响JOIN操作的因素数据集的大小参与JOIN的数据集的大小会直接影响Join操作的执行效率。同样，也会影响JOIN机制的选择和JOIN的执行效率。 JOIN的条件 JOIN的条件会涉及字段之间的逻辑比较。根

java dataset join,spark DataSet和DataFrame join 关联多列操作

weixin_42410443的博客

03-13

1200

spark在进行两个dataFrame join时，关联条件为多列时，我们可以这样做：JAVA：DatasetresultTemp = user_prefer_ds4//字段列进行关联时,左连接，关联字段(userId==myUserId && itemId==myItemId).join(usePreferDs, usePreferDs.col("userId").equalTo...

启动SparkSQL时报错：Caused by: java.sql.SQLSyntaxErrorException: Table 'sparkmeta.VERSION' doesn't exist

liangsw

07-04

2443

启动SparkSQL时报错： [root@dn2 bin]# ./spark-sql --master spark://nna:7077 19/07/03 15:21:18 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes wher...

为什么能在Presto中可以运行的sql却在SparkSQL中报错？

默主归沙的博客

03-28

1307

真的对于sql语句，在presto里面查询，Pass.... 在sparksql中加载，一跑就... Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: article_embedding; line 23 pos 18 at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.fa...

8、Spark DataFrame理解和使用之两个DataFrame的关联操作

Toby的博客

04-01

4113

Spark之两个DataFrame的操作注：这里只采用DF的操作语法，至于将DF创建成视图使用SQL的语法这里就不介绍了。一、创建DF备用（1）创建空的（自定义schema，复制已有schema）（2）手工输入几条测试数据，快速构造一个测试DataFrame备用 #python #手动输入几条数据，构造一个简单的测试DataFrame sparkStatus = spark.createDataFrame([ (500, "Vice Presiden

spark crossjoin方法优化

骑着蜗牛向前跑的博客

01-05

1239

org.apache.spark.SparkException Job aborted due to stage failure: Total size of serialized results of 147936 tasks (1024.0 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

Spark Sql Join操作类型

大怀特的博客

11-16

1092

Spark DataFrame支持所有基本SQL Join类型的操作,如INNER,RIGHT OUTER,LEFT ANTI, LEFT SEMI, CROSS, SELF JOIN. Spark SQL Join操作是宽转换操作,结果数据会重组在网络中,因此会有非常大的性能问题,当不仔细设计.

【大数据分析】Spark的joins研究

sword_csdn的博客

06-15

589

数据的join操作（数据连接）对于数据分析来说是非常重要的组成部分，不管是Spark Core还是Spark SQL都支持joins的相同基本类型。joins一种很常见，但又最容易造成性能问题的操作。因为它可能会造成大量的网络传输，尤其是当使用Spark Core组件的时候，因为DAG optimizer（DAG 优化器）无法对数据进行重排列（按照列）并且降低filters的复杂度。在输入数据集的记录之间应用连接条件之后，join类型会影响join操作的结果，假设有两个数据表A和B。A表的数据如下：B表的数

解决Spark sql中crossJoin错误

愿你远行千里，归来仍是少年

09-03

1365

问题：对两个DataFrame对象执行Join操作时，提示错误如下：环境-->Spark2.3.3 解决: 将SparkSession对象的“spark.sql.crossJoin.enabled”设为True SparkSession.builder.appName("TestApp").master("local").config("spark.sql.crossJoin...

Spark 系列（十二）—— Spark SQL JOIN操作

黑白影的博客

06-08

1万+

一、数据准备本文主要介绍Spark SQL的多表连接，需要预先准备测试数据。分别创建员工和部门的Datafame，并注册为临时视图，代码如下： val spark = SparkSession.builder().appName("aggregations").master("local[2]").getOrCreate() val empDF = spark.read.json("/usr...

Join condition is missing or trivial.Use the CROSS JOIN syntax to allow cartesian products between t

zzh3864的博客

08-06

2792

报错信息：Join condition is missing or trivial.Use the CROSS JOIN syntax to allow cartesian products between these relations.; 原因：spark默认不支持笛卡尔积操作解决：通过参数spark.sql.crossJoin.enabled开启，方式如下： spark.conf.set("spark.sql.crossJoin.enabled", "true") ...

Spark报错：Detected cartesian product for LEFT OUTER join between logical plans