spark DF写入csv/text

Spark的DataFrame调用write方法写入数据时有以下几点注意

• DF写入CSV,要求每一列的类型为String
• DF写入TEXT，要求DF只有一列，且类型为String

修改DataFrame列类型的方法可以参考

1 直接按列名修改

scala> a.select(a.col("id"),a.col("username"),a.col("birthday").cast("string").as("bir")).show

2 遍历DF的所有列依次修改，适用于修改成统一的类型

import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.functions.col
val df: DataFrame = ...
val columns: Array[String] = df.columns
val df2: DataFrame = columns.foldLeft(df){
    (currentDF, column) => currentDF.withColumn(column, col(column).cast("string"))
}

3 先修改列的类型，再用select函数查找

scala 有array:_*这样传参这种语法，就是就是把Array数组的参数转化成变长序列传入，而df的select方法也支持col*这样的变长序列。

这样看来，SELECT的COL只需要名字一样，struct可以任意指定，也就是说DF按名查找，再按COL的struct处理数据

val cols = colNames.map(f => col(f).cast(DoubleType))
df.select(cols: _*).show()

再写基于DF的ALS推荐算法时，遇到了DF的存储问题，解决代码如下

  def main(args: Array[String]): Unit = {
    //初始化
    val sparkConf = new SparkConf().setMaster(config("spark.cores")).setAppName("OfflineRecommonder")
    val spark = SparkSession.builder().config(sparkConf).getOrCreate()

    import spark.implicits._

    implicit val mongoConf = MongoConfig(config("mongo.uri"), config("mongo.db"))


    val ratingDS = spark.read
      .option("uri", mongoConf.uri)
      .option("collection", MONGODB_RATING_COLLECTION)
      .format("com.mongodb.spark.sql")
      .load()
      .select($"userId",$"productId",$"score" as("rating"),$"timestamp")
      .as[ProductRating]

    val Array(training,test) = ratingDS.randomSplit(Array(0.8,0.2))
    val als = new ALS()
      .setMaxIter(5)
      .setRegParam(0.01)
      .setRank(5)
      .setUserCol("userId")
      .setItemCol("productId")
      .setRatingCol("rating")
    val model = als.fit(training)

    // Evaluate the model by computing the RMSE on the test data
    // Note we set cold start strategy to 'drop' to ensure we don't get NaN evaluation metrics
    model.setColdStartStrategy("drop")
    val predictions = model.transform(test)

    /**
     * DF写入CSV,要求每一列的类型为String
     * DF写入Text，要求DF只有一列，且类型为String
     *
     * 1.改写DF的列类型
     *
     * 2.写入csv
     * */
    predictions.columns.foldLeft(predictions){
      (currentDF,column)=>currentDF.withColumn(column, col(column).cast("string"))
    }.limit(10).coalesce(1)
      .write
      .mode(SaveMode.Overwrite)
      .option("header",true)
      .csv("ECommerceRecommendSystem/recs/predictions.csv")

    /**
     * DF写入CSV,要求每一列的类型为String
     * DF写入Text，要求DF只有一列，且类型为String
     * */
    val userRecs = model.recommendForAllUsers(10)
    val newCol = userRecs.columns.map(col(_).cast("string"))
    userRecs.select(newCol:_*).limit(10).coalesce(1)
      .write
      .mode(SaveMode.Overwrite)
      .option("header",true)
      .csv("ECommerceRecommendSystem/recs/userRecs.csv")

    //模型评估器RegressionEvaluator用于回归的评估器，主要是计算y与y^的插值
    val evaluator = new RegressionEvaluator()
      .setMetricName("rmse") //设置真实值与预测值误差的计算方式，RMSE 均方根误差 ---sqrt ( err(i)*eer(i) / n )
      .setLabelCol("rating")//真实值
      .setPredictionCol("prediction")//预测值
    val rmse = evaluator.evaluate(predictions)
    println(s"Root-mean-square error = $rmse")


    spark.stop()
  }