- 用spark实现读取csv文件
val conf = new SparkConf()
.setAppName("用户标签")
.setMaster("local[*]")
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
val arr = ArrayBuffer[(Int,String,String,String,String,String,String,Double)]()
val arr2 = ArrayBuffer[(String,Double)]()
val data: DataFrame = sqlContext.read.format("com.databricks.spark.csv")
.option("header", "true") //在csv第一行有属性"true",没有就是"false"
.option("inferSchema", true.toString) //这是自动推断属性列的数据类型
.load("C:\\Users\\Desktop\\test.csv")
注意:如果出现乱码,可能是用excel打开,导致编码错误,用notepad++打开转化成utf8编码就可以了。
- 用spark实现保存为csv文件
rdd处理方式
import sqlC.implicits._
val mapDF: DataFrame = hashString.toDF()
mapDF.createOrReplaceTempView("map")
val resultDF: DataFrame = sqlC.sql("select * from map")
resultDF.write.mode("Append").csv("C:\\Users\\Desktop\\123")