Hive join on的不等条件实现方法

hql的join on操作只支持相等条件,比如:

select * from a join b on a.id=b.id;

但是不支持相等条件以外的情况,比如:

select * from a join b on a.id <> b.id;
select * from a join b on a.name like '%'+b.name+'%';

这是因为Hive很难把不等条件翻译成mapreduce job;
但是工作中我们需要实现不等条件,比如微博需要向用户推送私信,但白名单的用户除外,现在全部用户的uid在表weibouid表的alluid分区,白名单在baimingdan分区,现在用join on实现去除alluid中的白名单uid,两个分区的uid是去重的。
第一种方式:

select uid from
(select uid from weibouid where part='alluid')a
 join 
(select uid,count(uid) as c from weibouid where part='alluid' or part='baimingdan' group by uid having c=1)b on a.uid=b.uid;

第二种方式:

select a.uid from
(select a.uid as auid,b.uid as buid from
(select uid from weibouid where part='alluid')a
left join
(select uid from weibouid where part='baimingdan')b
on a.uid = b.uid)c where c.buid is null;

显然第二种方式效率更高,推荐第二种。如果有其他方式希望留言。。。

  • 7
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值