org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to toAttribute on unresolve

执行形如下列的spark sql:

select xxx from TABLENAME WHERE x=1 having CONDITION = 1

报错:

org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to toAttribute on unresolved object, tree: ArrayBuffer(a).*
	at org.apache.spark.sql.catalyst.analysis.Star.toAttribute(unresolved.scala:245)
	at org.apache.spark.sql.catalyst.plans.logical.Project$$anonfun$output$1.apply(basicLogicalOperators.scala:52)
	at org.apache.spark.sql.catalyst.plans.logical.Project$$anonfun$output$1.apply(basicLogicalOperators.scala:52)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
	at scala.collection.immutable.List.foreach(List.scala:392)
	at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
	at scala.collection.immutable.List.map(List.scala:296)
	at org.apache.spark.sql.catalyst.plans.logical.Project.output(basicLogicalOperators.scala:52)
	at org.apache.spark.sql.hive.HiveAnalysis$$anonfun$apply$3.applyOrElse(HiveStrategies.scala:160)
	at org.apache.spark.sql.hive.HiveAnalysis$$anonfun$apply$3.applyOrElse(HiveStrategies.scala:148)

原因:
https://spark.apache.org/docs/2.4.0/sql-migration-guide-upgrade.html#upgrading-from-spark-sql-23-to-24

spark sql在2.3和2.4的处理逻辑不一样,
在2.3中如果没有GROUP BY,则HAVING会当成WHERE进行处理
但2.4中就会报上述错误。

在这里插入图片描述
可参考的解决方案:
1.改sql语句,加上group by
2. 启动的时候设置spark.sql.legacy.parser.havingWithoutGroupByAsWhere 为true ,即 ./bin/spark-sql --conf spark.sql.legacy.parser.havingWithoutGroupByAsWhere =true

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
org.apache.spark.sql.catalyst.parser.ParseExceptionSpark SQL的一个异常类,表示语法解析错误。它通常在使用Spark SQL进行SQL查询时出现,并且提示无法解析输入的SQL语句。 它可能有多种原因,包括以下几个方面: 1. SQL语法错误:输入的SQL语句不符合Spark SQLSQL语法规则,例如拼写错误、语法结构错误,或者使用了不支持的语法特性等。 2. 输入的数据格式错误:如果SQL语句涉及到从外部数据源加载数据,那么可能是因为数据源的格式不符合预期,例如使用了错误的数据列、数据类型不匹配等。 3. 对表或列的引用错误:如果SQL语句涉及到查询或操作表,那么可能是因为引用了不存在的表或列,或者引用了不正确的表或列名称。 4. 版本不兼容:如果Spark版本升级或配置更改,可能导致一些SQL语句无法正确解析。 要解决这个问题,可以采取以下几个步骤: 1. 检查输入的SQL语句是否符合Spark SQL的语法规则,可以通过查阅相关文档或参考示例代码来确认语法是否正确。 2. 检查输入的数据格式是否符合要求,可以查看官方文档或数据源的说明来确认数据格式是否正确。 3. 检查表和列的引用是否正确,可以查看表和列的定义以及相关的元数据信息来确认引用是否正确。 4. 确认Spark版本是否与使用的SQL语句兼容,可以查看Spark的版本说明或升级记录来确认版本兼容性。 如果以上步骤无法解决问题,可以尝试将错误信息提供给Spark社区或相关技术支持团队,以获取更详细的帮助和指导。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值