这篇博客介绍了Spark SQL中的一些重要函数，包括collect_set和collect_list的使用，它们在分组数据时汇总字段值为数组。接着详细讲解了concat和concat_ws函数在字符串拼接上的差异，特别是对NULL值的处理。文章还深入探讨了explode函数，用于将数组或map字段展开为多行，并解释了其作为UDTF的限制。最后，重点阐述了lateral view的功能，如何与UDTF配合解决特定问题，以及outer lateral view的应用，确保不丢失数据。
一、collect_set 和 collect_list 函数
collect_set(col) 、 collect_list(col)函数只接受基本数据类型，它的主要作用是将某字段的值汇总，产生Array类型字段，注意该函数只能接受一列参数！我们一般都会配合group by 函数，直接汇总分组数据！
collect函数也可以实现一个功能：获取group by后面没有的字段！
collect_set 和 collect_list 函数的区别很直观，set会进行去重，而list不会！
我们可以通过下标去获取数组中的数据取值时如果下标超出范围，会返回NULL
二、concat / concat_ws 函数
concat
select concat('a','b')
直接用concat函数，如果其中某一列为NULL，那么合并结果也为NULL
concat_ws
select concat_ws(',','a','b')
select concat_ws(',',collect_list(cookieid))
第一个参数为指定合并分隔符
NULL字段合并对于concat_ws来说无影响！
最低0.47元/天 解锁文章
扫一扫
446
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
