sparksql Error in query: resolved attribute(s)报错分析

最新推荐文章于 2021-02-22 17:51:27 发布

这样子的啊

最新推荐文章于 2021-02-22 17:51:27 发布

阅读量2.2k

点赞数

文章标签： spark 大数据 sql

本文链接：https://blog.csdn.net/weixin_43766379/article/details/109198723

版权

在SparkSQL项目中遇到Error in query错误，具体表现为resolved attribute(s) XX#4245L丢失。问题源于在同表关联时，父查询未正确解析子查询的字段。解决方案是为子查询的字段指定别名，避免数据丢失。通过修改代码并添加字段别名，成功解决报错。

摘要由CSDN通过智能技术生成

sparksql Error in query: resolved attribute(s)报错分析

项目场景：

sparksql Error in query: resolved attribute(s) XX#4245L missing from XX#4520,XX#684L 错误

问题描述：

提示：spark实际生产环境中使用sparksql进行同表关联时报错代码如下

select
    distinct a.imsi
    from (
    select imsi,ho_time,longitude,latitude
        from (
            select imsi,ho_time,longitude,latitude,row_number() over (partition by imsi order by ho_time) as num from tmp_highrail_users
        )s
      where s.num=1
    ) a left join
    (
    select imsi,ho_time,longitude,latitude
        from (
            select imsi,ho_time,longitude,latitude,row_number() over (partition by imsi order by ho_time) as num from tmp_highrail_users
        )s
      where s.num=2
    )b
    on a.imsi=b.imsi