Scala处理数据groupby,collect_list保持顺序,explode一行展开为多行
目录
1. 数据说明及处理目标
2.groupby,按某列有序collect_list
3.explode 展开udf返回的array
4.将单列按照分隔符展开为多列
1. 数据说明及处理目标
DataFrame格式及内容如下图所示,每个rdid下有多个wakeup_id,每条wakeup_id对应多条ctime及page_id。
处理目标:获取每个wakeup_id下的page_id变化序列,假设某wakeup_id下的page_id有序列表为[1,3,4,6,6,7,8,8],那么所...
原创
2020-07-16 15:49:11 ·
4161 阅读 ·
2 评论