Spark dataframe数据预处理---csv文件读取与保存

1、读取csv文件

val data_left_ori = spark.read
    .option("inferSchema","true")//自动推导数据类型
    .option("header","true")//读取列名
    .csv("/user/root/image.csv")//文件路径

2、保存csv文件

data.coalesce(1)//文件分区设置为1
    .write.mode("overwrite")//保存方式为覆盖
    .option("mapreduce.fileoutputcommitter.marksuccessfuljobs","false")//保存csv文件时去除success文件
    .option("header","true")//保存表列名
    .csv("/user/root/data")//保存文件的路径