hive中数据去重,union,交集和并集等操作语句总结

  1. insert overwrite table store  
  2.   select t.p_key,t.sort_word from   
  3.     ( select p_key,  
  4.            sort_word ,  
  5.            row_number()  over(distribute by p_key sort by sort_word) as rn  
  6.      from store)  t  
  7.      where t.rn=1; 

Hive上一个典型表内除重的写法, p_key为除重依据, sort_word 为排序依据,一般为时间   rn为排名。 这里就留下第一名

注意hql 方言中, 表的嵌套要家别名, 字段前加上表别名。 union all 不支持顶层视图。


参考链接:

hive 嵌套使用: http://www.oschina.net/code/snippet_1421929_43903

hive求两个集合的减集: http://www.bkjia.com/yjs/942686.html

SQL 操作结果集 -并集、差集、交集、结果集排序:http://www.cnblogs.com/kissdodog/archive/2013/06/24/3152743.html

关于hive子查询,union,left join :http://www.tuicool.com/articles/MZf6ny

hivejoin 操作小结: http://blog.csdn.net/xyilu/article/details/8112747





评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值