spark中怎么实现行列转换

一、sparksql 行转列：

在 Spark SQL 中，你可以使用 pivot 函数将行转换为列。pivot 函数可以帮助你重新排列数据，将某些行值作为列，并根据指定的聚合函数对这些值进行汇总。以下是一个示例：

假设你有一个包含以下数据的表 sales_data：

| date       | product | amount |
|------------|---------|--------|
| 2023-01-01 | A       | 100    |
| 2023-01-01 | B       | 200    |
| 2023-01-02 | A       | 150    |
| 2023-01-02 | B       | 250    |

现在，你想将 product 列中的值转换为列，可以按照 date 进行分组，并且对应每个日期的 product 下的 amount 进行求和。可以使用 pivot 函数实现这个目标：

val df = spark.read // 从数据源加载数据或创建 DataFrame
// 例如：val df = spark.read.format("csv").load("path_to_your_data.csv")

import org.apache.spark.sql.functions._

val pivotedDF = df.groupBy("date")
  .pivot("product")
  .agg(sum("amount"))

pivotedDF.show()

这将产生类似以下的输出：

| date       | A_sum | B_sum |
|------------|-------|-------|
| 2023-01-01 | 100   | 200   |
| 2023-01-02 | 150   | 250   |

在这个例子中，pivot 函数将 product 列的值（A 和 B）转换为两列，并对每个日期的 amount 进行了求和。

二、sparksql 列转行

在 Spark SQL 中，你可以使用 explode 函数将列转换为行。explode 函数可用于将包含数组的列拆分成多行，每个数组元素对应一行数据。以下是一个示例：

假设你有一个包含以下数据的表 employee_data：

| id  | name    | departments    |
|-----|---------|----------------|
| 1   | Alice   | [Sales, HR]    |
| 2   | Bob     | [Engineering]  |
| 3   | Charlie | [Marketing]    |

现在，你想将 departments 列中的值转换为行，并保留对应的 id 和 name。可以使用 explode 函数实现这个目标：

import org.apache.spark.sql.functions._

val df = spark.read // 从数据源加载数据或创建 DataFrame
// 例如：val df = spark.read.format("csv").load("path_to_your_data.csv")

val explodedDF = df.withColumn("department", explode(col("departments")))
  .select("id", "name", "department")

explodedDF.show()

这将产生类似以下的输出：

| id  | name    | department  |
|-----|---------|-------------|
| 1   | Alice   | Sales       |
| 1   | Alice   | HR          |
| 2   | Bob     | Engineering |
| 3   | Charlie | Marketing   |

在这个例子中，explode 函数将 departments 列中的数组元素拆分成多行，每个员工的每个部门对应一行，并保留了原始的 id 和 name 列。