HiveSQL常见问题总结

1.column repeated in creation: member_id

在所有之前的select里，对应字段如果有名字一样的，必须加表名防混淆

2.去重（完全重复的行）

select distinct * from ( ）

如果是要删除表中存在的重复记录，那就逻辑处理，如下：
select Test from Table group by Test having count（test)>1搜索
先查询存在重复的数据，后面根据条件删除（答案来自https://zhidao.baidu.com/question/131048784.html）

3.结束时检查行末空格及逗号，检查建表字段顺序，检查相同名字字段是否别名或加表名，检查from()后是否加了别名

4.odps的count()只能count(*)不能count(a.*)

5.报错FAILED: Error in semantic analysis: Line X:Y Expression not in GROUP BY key 'XXX'

将字段xxx改为collect_set(xxx)[0] as xxx。

此时会取第一行，其余被去重了

6.取某字段值最大的那一行：解决方法增加序号列

select * from (

select *, row_number() over (partition by seller_nick order by num desc) as rank from tablea

) b where b.rank=1