Spark SQL 数据加载和保存

---

一 、Spark 数据的加载和保存

（一）通用的加载和保存方式

• SparkSQL 提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的
  API，根据不同的参数读取和保存不同格式的数据，SparkSQL 默认读取和保存的文件格式
  为 parquet

1、加载数据

• spark.read.load 是加载数据的通用方法
  
• 如果读取不同格式的数据，可以对不同的数据格式进行设定

scala> spark.read.format("…")[.option("…")].load("…")

• format(“…”)：指定加载的数据类型，包括"csv"、“jdbc”、“json”、“orc”、"parquet"和
  “textFile”。
• load(“…”)：在"csv"、“jdbc”、“json”、“orc”、"parquet"和"textFile"格式下需要传入加载
  数据的路径。
• option(“…”)：在"jdbc"格式下需要传入 JDBC 相应参数，url、user、password 和 dbtable
  我们前面都是使用 read API 先把文件加载到 DataFrame 然后再查询，其实，我们也可以直
  接在文件上进行查询: 文件格式.文件路径