spark读取、保存.csv文件

最新推荐文章于 2024-07-23 10:41:58 发布

tang_xiaotang

最新推荐文章于 2024-07-23 10:41:58 发布

阅读量2.5w

点赞数 4

分类专栏： scala 文章标签： scala

本文链接：https://blog.csdn.net/tang_xiaotang/article/details/94394721

版权

scala 专栏收录该内容

8 篇文章 1 订阅

订阅专栏

用spark实现读取csv文件

val conf = new SparkConf()
      .setAppName("用户标签")
      .setMaster("local[*]")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    val arr = ArrayBuffer[(Int,String,String,String,String,String,String,Double)]()
    val arr2 = ArrayBuffer[(String,Double)]()
    
    val data: DataFrame = sqlContext.read.format("com.databricks.spark.csv")
      .option("header", "true") //在csv第一行有属性"true"，没有就是"false"
      .option("inferSchema", true.toString) //这是自动推断属性列的数据类型
      .load("C:\\Users\\Desktop\\test.csv")

注意：如果出现乱码，可能是用excel打开，导致编码错误，用notepad++打开转化成utf8编码就可以了。

用spark实现保存为csv文件
rdd处理方式

import sqlC.implicits._

    val mapDF: DataFrame = hashString.toDF()

    mapDF.createOrReplaceTempView("map")

    val resultDF: DataFrame = sqlC.sql("select * from map")

    resultDF.write.mode("Append").csv("C:\\Users\\Desktop\\123")