sparkSQL加载文件与保存文件
SparkSQL加载文件
步骤: 先获取sparkSession对象
val spark = SparkSession.builder()
.appName("testload")
.master("local[*]")
.getOrCreate()
读取文件的方式
spark.read.format("type").load("path")
spark.read.json("")
spark.read.csv("")
spark.read.orc("")
spark.read.parquet("")
spark.read.text("")
例如
val df6: DataFrame = spark.read
.format("csv")
.option("header", true)
.load("sql/ip-pprovince-count.csv")
df6.show()
val df7: DataFrame = spark.read
.format("csv")
.option("sep", "|")
.load("sql/student.csv")
df7.show()
SparkSQL保存数据
步骤
获取Sparksess