使用hive数组函数查找哪些用户在不同的时间点购买了同样的商品

背景

有一张用户购买过的商品的记录表，记录着每个小时不同用户购买的商品的记录，有一个需求是查找哪些用户在两个不同的时间点都购买了同样的商品

哪些用户在不同的时间点购买了同样的商品的实现

1.分别获取每个商品不同时间点的用户集合，假设时间点为10点和20点，使用collect_set得到各个时间点的商品对应的用户集合

2.对这两个时间点商品对应的用户集合的表进行连接，连接的key是商品mid

3.对第二步得到的表的每个mid对应的用户集合进行取交集操作，即可得到每个商品在不同时间点都有购买记录的用户集合

select t1.mid,array_intersect(t1.userIds,t3.userIds) as intersectUserIds from
(select mid,collect_set(user_id) as userIds from
(select mid,user_id from  xx where dt ='yyMMdd' and hm = '1000' --时间点：10点数据
group by mid,user_id) as t0 
group by mid) as t1
inner join
(select mid,collect_set(user_id) as userIds from
(select mid,user_id from  xx where dt ='yyMMdd' and hm = '2000' --时间点：20点数据
group by mid,user_id) as t2 
group by mid) as t3
on t1.mid = t3.mid

主要使用的hive函数：

1. collect_set 合并group by后的用户集合
2. array_intersect获取两个集合的交集