spark在训练机器学习模型时,要求输入的DataFrame的列的类型为数值类型,而一般从原始数据读入的是string类型的数据,故需要将各个列都转为double类型。涉及到了dataframe多个列转化为某种类型的问题。
如果是单列,可以用下面的方法:
import org.apache.spark.sql.types._ val data = Array(("1", "2", "3", "4", "5"), ("6", "7", "8", "9", "10")) val df = spark.createDataFrame(data).toDF("c1","c2","c3","c4","c5") import org.apache.spark.sql.functions._ val df_after = df.select(col("c1").cast(DoubleType)) df_after.show()
+---+
| c1|
+---+
|1.0|
|6.0|
+---+
如果是处理所有列,最直接的办法是用for循环,如下:
var df1 = df for (cName <- df.columns){ df1 = df1.withColumn(cName,col(cName).cast(DoubleType)) }
但是当特征列非常多的时候,效率会很低,scala 有array:_*这样传参这种语法,而df的select方法也支持这样传,于是最终可以按下面的这样写
val cols = df.columns.map(f => col(f).cast(DoubleType)) df.select(cols: _*).show()