Sparksql 迁移mysql遇到的问题

场景:项目重构时由于数据表结构的更换 需要把原始数据抽取到新的表中 ,使用sparksql 抽取 mysql 中的数据

遇到的问题: 

org.apache.spark.sql.AnalysisException: expression 'score' is neither present in the group by, nor is it an aggregate function. Add to group by or wrap in first() (or first_value) if you don't care which value you get.;

报错代码: 

 

更改后的代码: 

 

 

 

问题的原因:

 

In Spark SQL, We have to wrap it in a function either first(column_name) or last(column_name) or any aggregate function when column_name is not present in group by clause. It will take either first or last value from the fetched rows respectively

 

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值