按指定分隔符读取文件
SparkSession读取时可以指定format,format支持:json, parquet, jdbc, orc, libsvm, csv, text这几种格式。
json
spark.read.json(inputFile1)
//或者
spark.read.format("json").load(inputFile1)
parquet
spark.read.parquet(inputFile1)
//或者
spark.read.format("parquet").load(inputFile1)
jdbc
val connectionProperties = new Properties()
connectionProperties.put("user", "username")
connectionProperties.put("password", "password")
//connectionProperties.put("customSchema", "id DECIMAL(38, 0), name STRING")
spark.read.jdbc("jdbc:postgresql:dbserver", "schema.tablename", connectionProperties)
//或者
spark.read.format("jdbc")
.option("url", "jdbc:mysql://localhost:3306/spark")
.option("driver","com.mysql.jdbc.Driver")
.option("dbtable", "student")
.option("user", "root")
.option("password", "hadoop").load()
csv
csv默认以英文逗号分割。
//推断头信息,省略首行的头信息
spark.read.option("inferSchema", "true").option("header", "true").csv(inputFile1)
//或者
spark.read.format("csv").option("inferSchema", "true").option("header", true).load(inputFile1)
text
直接将一行数据作为一列,不做分割
spark.read.text(inputFile1)
//或者
spark.read.format("text").load(inputFile1)
自定义分隔符
有时候我们的输入数据分隔符是自定义的,我们可以使用读取csv的格式来读,虽然文件不是csv格式,但是通过csv的api可以指定分隔符,从而通过指定分隔符来读取数据。csv的option有如下选择:我们可以设置seq参数来设置自定义分隔符。
https://spark.apache.org/docs/3.3.0/sql-data-sources-csv.html
spark.read.option("sep", "\t").csv(inputFile1)
//或者
spark.read.option("delimiter", "\t").csv(inputFile1)
按指定分隔符写入文件
SparkSession写入时可以指定format,format支持:json, parquet, jdbc, orc, libsvm, csv, text这几种格式。
json
spark.write.json(inputFile1)
//或者
inputDF.write.format("json").save(outputFile)
parquet
spark.write.parquet(inputFile1)
//或者
inputDF.write.format("parquet").save(outputFile)
jdbc
val connectionProperties = new Properties()
connectionProperties.put("user", "username")
connectionProperties.put("password", "password")
//connectionProperties.put("customSchema", "id DECIMAL(38, 0), name STRING")
spark.write
//.option("createTableColumnTypes", "name CHAR(64), comments VARCHAR(1024)")
.jdbc("jdbc:postgresql:dbserver", "schema.tablename", connectionProperties)
//或者
spark.write.format("jdbc")
.option("url", "jdbc:mysql://localhost:3306/spark")
.option("driver","com.mysql.jdbc.Driver")
.option("dbtable", "student")
.option("user", "root")
.option("password", "hadoop").save()
csv
csv默认以英文逗号分割。
//推断头信息,省略首行的头信息
spark.write.csv(outputFile)
//或者
spark.read.format("csv").save(outputFile)
text
dataframe只能是一列数据,需要提前合并
spark.write.text(outputFile)
//或者
spark.write.format("text").save(outputFile)
合并dataframe为一列写入text
val allCols = dataFrame.columns.map(col(_))
dataFrame.select(concat_ws(splitRex, allCols: _*))
.write.mode(SaveMode.Overwrite).text(saveDir)
自定义分隔符
有时候我们输出数据时需要自定义分隔符,我们仍然可以使用写入csv的格式来写,但是不能通过seq参数来设置了,只能通过delimiter参数设置。
inputDF.write.option("delimiter", "\t").csv(outputFile)