spark dataFrame自定义函数 聚合array
spark2.4scala2.11准备环境准备数据//造数据需求//需求结果// all_v_list 不需要排序 去重即可自定义函数// 聚合函数输入数据结构// 缓存区数据结构,用于计算// 聚合函数输出值数据结构// 聚合函数是否是幂等的,即相同输入是否总是能得到相同输出// 初始化缓冲区}// 给聚合函数传入一条新数据进行处理}else{}}// 合并聚合函数缓冲区(分布式)}// 计算最终返回结果list}}注册函数//注册函数测试"""|select。
原创
2022-10-25 17:59:05 ·
716 阅读 ·
0 评论