pyspark列合并为一行

将 dataframe 利用 pyspark 列合并为一行，类似于 sql 的 GROUP_CONCAT 函数。例如如下 dataframe :

 

需要按照列相同的列 d 将 s 合并，想要的结果为：

 

利用 groupby 去实现就好，spark 里面可以用 concat_ws 实现，可以看这个 Spark中SQL列合并为一行，而这里的 concat_ws 合并缺很奇怪，官方文档的实例为：

 

作者自己尝试得到：

 

 

不是想要的效果。而 collect_list 能得到相同的效果：

 

得到的结果为：