ERROR yarn.ApplicationMaster: User class threw exception: org.apache.spark.sql.AnalysisException: Resolved attribute(s) item_id#5636 missing from ....
Attribute(s) with the same name appear in the operation: item_id. Please check if the right attribute(s) are used.
spark dataframe 多个表join 其中有一个基础表多次使用,在这个基础表中加一个where(udf()),如果这个udf 输入参数类型写成 Int就会报上面的问题(实际类型为Integer)
同时,对于udf传入的参数类型,如果是Integer类型,输入参数类型为String类型,也可以通过