Spark-SQL连接JDBC的方式及代码写法

提示：文章内容仅供参考！

目录

一、数据加载与保存

通用方式：

加载数据：

保存数据：

二、Parquet

加载数据：

保存数据：

三、JSON

四、CSV

 五、MySQL

---

一、数据加载与保存

通用方式：

SparkSQL 提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API，根据不同的参数读取和保存不同格式的数据，SparkSQL 默认读取和保存的文件格式为parquet

加载数据：

spark.read.load 是加载数据的通用方法。如果读取不同格式的数据，可以对不同的数据格式进行设定。

spark.read.format("…")[.option("…")].load("…")

➢ format("…")：指定加载的数据类型，包括"csv"、"jdbc"、"json"、"orc"、"parquet"和

"textFile"。

➢ load("…")：在"csv"、"jdbc"、"json"、"orc"、"parquet"和"textFile"格式下需要传入加载

数据的路径。

➢ option("…")：在"jdbc"格式下需要传入 JDBC 相应参数，url、user、password 和 dbtable

我们前面都是使用 read API 先把文件加载到 DataFrame 然后再查询，其实，我们也可以直接在文件上进行查询: 文件格式.`文件路径`

spark.sql("select * from json.’/opt/module/data/user.json’").show

保存数据：

df.write.save 是保存数据的通用方法。如果保存不同格式的数据，可以对不同的数据格式进行设定。

df.write.format("…")[.option("…")].save("…")

➢ format("…")：指定保存的数据类型，包括"csv"、"jdbc"、"json"、"orc"、"parquet"和

"textFile"。

➢ save ("…")：在"csv"、"orc"、"parquet"和"textFile"格式下需要传入保存数据的路径。

➢ option("…")：在"jdbc"格式下需要传入 JDBC 相应参数，url、user、password 和 dbtable

保存操作可以使用 SaveMode, 用来指明如何处理数据，使用 mode()方法来设置。

例如：df.write.mode("append").json("/opt/module/data/output")

二、Parquet

Spark SQL 的默认数据源为 P