Spark——一行代码转化Dataset/DataFrame部分列或所有列的数据类型

当需要把DataFrame中所有列的类型转换成另外一种类型，并且这个DataFrame中字段很多，一个一个地转换要写很多冗余代码，那么就可以使用如下这两种转换方式。

方式一：foldLeft() 函数

1. 转化所有列类型

通过foldLeft()函数从左到右依次处理集合中的每个元素，代码如下：

import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.functions.col

val df: DataFrame = ...
val columns: Array[String] = df.columns

val df2: DataFrame = columns.foldLeft(df){(currentDF, column) => currentDF.withColumn(column, col(column).cast("string"))}

• 变量columns：是一个String类型的数组，数组中的元素为df中的列名。
• foldLeft函数：此函数以df为初始值，从左向右遍历columns数组，并把df的每一行和columns的每个元素作为参数传入foldLeft后面的函数中(也就是foldLeft后面的大括号中)。
• withColumn()：将每一列转换成String类型并赋值给当前列。如果存在同名的列，withColumn函数默认会进行覆盖。

2. 转化部分列类型

例如：将Date类型的列转成String类型。

val df: DataFrame = ...
val columns: Array[String] = df.columns

val df2: DataFrame = columns.foldLeft(df){(currentDF, column) => if ("date".equals(df.schema(column).dataType.typeName)) currentDF.withColumn(column, col(column).cast("string")) else currentDF}

方式二：map() 函数

1. 转化所有列类型

使用Scala中的map()函数处理集合中的每个元素，代码如下：

import org.apache.spark.sql.{Column, DataFrame}
import org.apache.spark.sql.functions.col

val df: DataFrame = ...
val columns: Array[String] = df.columns

val arrayColumn: Array[Column] = columns.map(column => col(column).cast("string"))
val df2: DataFrame = df.select(arrayColumn: _*)

通过map函数将columns中的每一列转换成String类型，并返回一个Column类型的数组，然后，将arrayColumn数组中的每个元素作为参数传入select函数中，就相当于df.select(col1, col2, col3, …)。

除此之外，这种写法还有一个很有用的场景：比如要在一个DataFrame中select出很多列(假如有几十个几百个)，如果要一个个显示写出来，既不方便又会让代码显得很冗余，那么就可以使用这种写法：

1. 先通过df.columns得到这个DataFrame中的所有列，返回一个包含所有列的数组；
2. 再使用Scala中的这种语法进行查询df.select(arrayColumn :_*)，非常简洁明了。

2. 转化部分列类型

例如：将Date类型的列转成String类型。

val df: DataFrame = ...
val columns: Array[String] = df.columns

val arrayColumn: Array[Column] = columns.map(column => if ("date".equals(df.schema(column).dataType.typeName)) col(column).cast("string") else col(column))
val df2: DataFrame = df.select(arrayColumn: _*)