目标:
想对某几个字段group by,但聚合以后,还想保留不是group by字段里的字段的数据,此时可以将这些数据组合类似于Java等语言中的list也就是列表或者说是数组,然后将这个列表,新建一个字段来存储。这样,group by之后,想要的非group by字段里的数据,也能保存下来了。
步骤:
- 将多个列组成一个struct(非必须,一般用在要保存多个列的值时)
- 使用group by聚合时,将struct组合成list(必需的。通过collect_list实现)
val input: DataFrame = Seq(
(1, "JAMES", "SMITH"),
(2, "MARY", "BROWN"),
(2, "DAVID", "WILLIAMS"),
(1, "ROBERT", "DAVIS")
).toDF("id", "first_name", "last_name")
import org.apache.spark.sql.functions._
val result = input
.withColumn("entity", struct($"first_name", $"last_name"))
.groupBy("id").agg(collect_list($"entity"))
result.show(false)
// +---+--------------------------------+
// |id |entities |
// +---+--------------------------------+
// |1 |[[JAMES,SMITH], [ROBERT,DAVIS]] |
// |2 |[[MARY,BROWN], [DAVID,WILLIAMS]]|
// +---+--------------------------------+
result.printSchema()
// root
// |-- id: integer (nullable = false)
// |-- entities: array (nullable = true)
// | |-- element: struct (containsNull = true)
// | | |-- first_name: string (nullable = true)
// | | |-- last_name: string (nullable = true)