22. org.apache.spark.sql.AnalysisException: Reference 'XXXXX' is ambiguous

22.

org.apache.spark.sql.AnalysisException: Reference 'XXXXX' is ambiguous

原因是：多表join后，存在重复列的问题。

①解决办法，选择重复列时，指明该列来自之前join的DataFrame即可。

②join时，把重复列取别名。

下面对方法①做一个demo演示。

val joined = df.join(df2, df("course") === df2("course") && df("name") === df2("name"), "left_outer")

#出现了重复course 和 name 列

#取 course 和 name 列时，指定对应df的列即可

# 报错代码
val errCode = joined.select("name", "course")
#org.apache.spark.sql.AnalysisException: Reference 'XXX' is ambiguous

###########################
#正确代码
val rightCode = joined.select(df("name"), df("course"), df2("name"), df2("course"))

 

此贴来自汇总贴的子问题，只是为了方便查询。

总贴请看置顶帖：

pyspark及Spark报错问题汇总及某些函数用法。

https://blog.csdn.net/qq0719/article/details/86003435