利用hive中的行转列列转行处理字段中逗号分隔的重复数据

今天同事问了我个问题，想对表中字段为’,'分隔组成的数据进行去重，例如一个数据列中存的是“宋小宝,宋小宝,田野,宋晓峰,宋晓峰”，处理后的展示结果为“宋小宝，田野，宋晓峰”。当时时间比较着急，我就用行转列 再转行处理了，不知道有没有更优化的写法，先记录下来吧!有简单方法的同学可以评论一下让我学习学习，非常感谢！

直接上代码展示

select sb.ssss,concat_ws(',',collect_set(sb.xxx))
from 
(
select   a.ssss,b.xxx  from   
(  select 'a' as ssss,'宋小宝,宋小宝,田野,宋晓峰,宋晓峰' as bbb ) a  lateral view explode(split(A.bbb ,','))b as xxx)sb
group by sb.ssss

我这晚上回家进行记录的，当时只给他拍了个照片发过去了，所以没法截图了，你们可以看下最后的展示结果。

结果

临时通知明天要去加班一天，各位晚安。