Spark使用 collect_list 将多行合并成一行，用于保存非group by的字段的值

目标：

想对某几个字段group by，但聚合以后，还想保留不是group by字段里的字段的数据，此时可以将这些数据组合类似于Java等语言中的list也就是列表或者说是数组，然后将这个列表，新建一个字段来存储。这样，group by之后，想要的非group by字段里的数据，也能保存下来了。

步骤：

1. 将多个列组成一个struct（非必须，一般用在要保存多个列的值时）
2. 使用group by聚合时，将struct组合成list（必需的。通过collect_list实现）

val input: DataFrame = Seq(
  (1, "JAMES", "SMITH"),
  (2, "MARY", "BROWN"),
  (2, "DAVID", "WILLIAMS"),
  (1, "ROBERT", "DAVIS")
).toDF("id", "first_name", "last_name")

import org.apache.spark.sql.functions._
val result = input
  .withColumn("entity", struct($"first_name", $"last_name"))
  .groupBy("id").agg(collect_list($"entity"))

result.show(false)
// +---+--------------------------------+
// |id |entities                        |
// +---+--------------------------------+
// |1  |[[JAMES,SMITH], [ROBERT,DAVIS]] |
// |2  |[[MARY,BROWN], [DAVID,WILLIAMS]]|
// +---+--------------------------------+

result.printSchema()
// root
//  |-- id: integer (nullable = false)
//  |-- entities: array (nullable = true)
//  |    |-- element: struct (containsNull = true)
//  |    |    |-- first_name: string (nullable = true)
//  |    |    |-- last_name: string (nullable = true)