spark dataframe转换列的类型

spark在训练机器学习模型时，要求输入的DataFrame的列的类型为数值类型，而一般从原始数据读入的是string类型的数据，故需要将各个列都转为double类型。涉及到了dataframe多个列转化为某种类型的问题。

如果是单列，可以用下面的方法：

import org.apache.spark.sql.types._
val data = Array(("1", "2", "3", "4", "5"), ("6", "7", "8", "9", "10"))
val df = spark.createDataFrame(data).toDF("c1","c2","c3","c4","c5")

import org.apache.spark.sql.functions._
val df_after = df.select(col("c1").cast(DoubleType))
df_after.show()

+---+

| c1|

+---+

|1.0|

|6.0|

+---+

 

       如果是处理所有列，最直接的办法是用for循环，如下：

var df1 = df
for (cName <- df.columns){
  df1 = df1.withColumn(cName,col(cName).cast(DoubleType))
}

       但是当特征列非常多的时候，效率会很低，scala 有array:_*这样传参这种语法，而df的select方法也支持这样传，于是最终可以按下面的这样写

val cols = df.columns.map(f => col(f).cast(DoubleType))
df.select(cols: _*).show()