使用数据仓库HIVE遇到的几个坑

软件版本

hive1.2.2

遇到的问题

1、insert overwrite导出数据时，需要指定一个不存在的目录，否则可能会清空已存在目录下的所有内容。
2、对于参与计算的字段排序时，需要使用别名进行排序，而不能使用参与计算的字段。
例如：
select ‘F’ as sex,b.moviename,count(b.moviename),avg(c.rate)
from t_rating c ,t_user a,t_movie b
where c.userid=a.userid and c.movieid=b.movieid and t_user.sex=‘F’
group by b.moviename
having count(b.moviename) >=50
order by avg(c.rate) desc
limit 10

FAILED: SemanticException [Error 10004]: Line 6:13 Invalid table alias or column reference ‘a’: (possible column names are: sex, c.moviename, _c2, _c3)

select ‘F’ as sex,c.moviename,count(c.moviename),avg(a.rate) as avgrate
from t_rating a ,t_user b,t_movie c
where a.userid=b.userid and a.movieid=c.movieid and b.sex=‘F’
group by c.moviename
having count(c.moviename) >=50
order by avgrate desc
limit 10

总结

1、单表排序是否也有该问题
2、有空多看看官方文档，应该能避免问题1的出现