Spark SQL 数据加载和保存

一 、Spark 数据的加载和保存
（一）通用的加载和保存方式
SparkSQL 提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的
API，根据不同的参数读取和保存不同格式的数据，SparkSQL 默认读取和保存的文件格式
为 parquet
1、加载数据
spark.read.load 是加载数据的通用方法

• 如果读取不同格式的数据，可以对不同的数据格式进行设定

scala> spark.read.format("…")[.option("…")].load("…")

 format(“…”)：指定加载的数据类型，包括"csv"、“jdbc”、“json”、“orc”、"parquet"和
“textFile”。
load(“…”)：在"csv"、“jdbc”、“json”、“orc”、"parquet"和"textFile"格式下需要传入加载
数据的路径。
option(“…”)：在"jdbc"格式下需要传入 JDBC 相应参数，url、user、password 和 dbtable
我们前面都是使用 read API 先把文件加载到 DataFrame 然后再查询，其实，我们也可以直
接在文件上进行查询: 文件格式.文件路径
spark.sql("select * from json.`