Spark将dataframe存为csv文件

最新推荐文章于 2024-08-07 19:38:10 发布

楓尘林间

最新推荐文章于 2024-08-07 19:38:10 发布

阅读量2.4w

点赞数 14

分类专栏： Scala Spark Linux

本文链接：https://blog.csdn.net/bowenlaw/article/details/102664945

版权

Spark 同时被 3 个专栏收录

96 篇文章 1 订阅

订阅专栏

Scala

56 篇文章 4 订阅

订阅专栏

Linux

27 篇文章 0 订阅

订阅专栏

楓尘君一直觉得将df存为csv文件是一个非常简单操作处理，但是当查阅资料之后发现网上有很多误导和错误，本着从实际出发的原则，记录一下过程：

1. 发现问题

背景：楓尘君想利用spark处理较大的数据集，然后用python将提取特征后的数据集建模

用spark将数据筛选后生成dataframe类型的表： data
于是从网上查看了一下将data表转化为csv文件的方法，于是我发现：

在这里插入图片描述来自：http://cn.voidcc.com/question/p-wygpwrof-boe.html
来自：https://ask.helplib.com/csv/post_12540297

在这里插入图片描述来自：https://codeday.me/bug/20181226/467736.html

这是我google “spark dateframe存为csv” 的前三条答案
发现问题了吗？
***csv()方法里是否需要在末尾加入.csv***三条回答有两种不同的答案，想要探求问题本质的本君去查阅了一下源码：
源码地址：点击这里
发现csv()方法如下：

在这里插入图片描述调用了save()方法，并且没有例子，于是不放弃的我又找到了save()方法源码：
还是一无所获，于是乎我要自己找个例子测试一下：
部分代码如下

val spark = SparkSession.builder()
      .appName("demo").getOrCreate()
    import spark.implicits._
    var data = Seq(
      ("10", "ming", "hlj","2019-09-06 10:15:15", "1"),
      ("9", "tian", "jl","2019-09-07 14:15:15", "1"),
      ("8", "ming", "jl","2019-09-07 16:15:15", "1"),
      ("7", "sun", "ln","2019-09-07 16:15:15", "1"),
      ("10000", "ke", null,"2019-09-07 21:01:01", null),
      ("4", "ke", "hlj","2019-09-07 20:15:15", null),
      (null, "ke", "hlj","2019-09-07 10:15:15", "1"),
      (null, "ke", "hlj","2019-09-08 01:15:15", "1"),
      ("6", "ming", "ln","2019-09-08 05:15:15", "1"),
      ("5", "tian", "jl","2019-09-08 13:15:15", "1"),
      ("4", "tian", "hlj","2019-09-08 19:15:15", "1"),
      ("2", "sun", "tj","2019-09-08 15:15:15", "1")
    ).toDF("CST_NO", "name", "live","START_TIME", "freq")
    data.show()
    data.coalesce(1).write.mode(SaveMode.Overwrite).option("header","true").option("sep","#").csv("rerr")
    data.coalesce(1).write.mode(SaveMode.Overwrite).option("header","true").option("sep","#").csv("ressssssss")
    println("存入完成！！！！！！！！！！")
    spark.close()

当我运行完代码才发现，我存入的路径不是我的本地路径，而是hdfs路径，但是也没关系：