题目:某社交平台有关注这个功能,关注的同时也会被关注。现有需求需要找出平台上哪些用户之间互相关注。
题目如下:
某社交平台后端有user_relation 这张表,表里有字段 from_side 和 to_side。如何把相互关注那些人查出来呢?。以下方法是第一中方法,虽然比较吃性能,但是比较思路和实现都比较清晰和简单,后续会出其他方法。
一、数据准备
数据:我们以火影中的动漫角色为例,首先准备数据。
二、建表并导入数据
1.建表
假设 dms.follow_each_others用来存放数据,如下(示例):
create table dms.follow_each_others
(
from_side STRING
,to_side STRING
)
2.导入数据
建表语句如下(此语法为hive语法,当为impala语法时,overwrite后面的table可以省略):
insert overwrite table dms.follow_each_others values
('宇智波带土','漩涡鸣人')
,('宇智波带土','波风水门')
,('波风水门','宇智波带土')
,('宇智波佐助','宇智波带土')
,('漩涡鸣人','日向雏田')
,('日向雏田','漩涡鸣人');
3.题目分析
首先我们观察数据,并近可能的将需求和数据联想起来,仔细观察数据之间是否有什么规律。会发现其实数据中无非存在两种情况,第一种:单向关注,比如A关注B,但是B没有关注A,同时A关注B的同时A也关注了C,但是C没有关注A。像这类单纯的左边关联右边,称之为单向关注。第二种,双向关注,A关注了B,B也关注了A。也就是说左边关注右边的同时,右边也关注了左边,称之为双向关注。当关注为双向时数据如下,A–>B,B–>A,通过规律可以发现,如果将A–>B或者B–>A调换位置,那么聚合之后一定是双数并且是2,当关注为单向时不会出现双数,只会出现单数。所以我们可以写出以下SQL:
select a from (
select concat(from_side,'-',to_side) as a
from dms.follow_each_others
union all
select concat(to_side,'-',from_side) as a
from dms.follow_each_others
) t
group by a having count(1)>1
结果展示:
小结
本题本身不算太难,但是以上方法在数据量比较庞大时十分影响性能,特别是union all,union更是会在合并数据集时进行去重和排序,所以在真实工作中尽量避免使用。下一遍博文会介绍第二种方法。