可以写UDAF,但导jar包啥的挺麻烦的,我找了个简单方法,两个函数搞定。
需求是这样的,统计出同一用户在同一地点会去哪些商店,商店以':'隔开。
(第一列用户id,第二列商店id,第三列地区id,第四列日期)
spark-sql> select * from test;
1027765 4822 172 20151028
1027765 4822 172 20151026
881482 4822 172 20151129
1027765 4822 172 20151007
1027765 4822 172 20151011
1027765 4822 172 20151010
1027765 4822 172 20151023
1027765 4822 172 20151022
1027765 820 172 20151030
1027765 820 172 20151023
1027765 820 172 20151114
1027765 820 172 20151127
881482 6709 172 20151121
881482 7830 172 20151121
881482 43 172 20151027
Time taken: 0.259 seconds, Fetched 15 row(s)
太简单了
spark-sql> select uid, lid, concat_ws(':',collect_set(mid)) as mids from test group by uid,lid;
881482 172 4822:6709:7830:43
1027765 172 4822:820
Time taken: 1.933 seconds, Fetched 2 row(s)
但要注意collect_set(mid)中的mid字段类型必须是string类型,不是的话改一下就可以了。
alter table test change mid mid string;
将mid字段的字段名改为mid,字段类型改为string类型。