java 连接 第三方数据库_15分钟学会SparkSQL通过JDBC连接外部数据库（PostgreSQL为例）...

本文基于Spark2.1.0版本

1，先简单介绍一下通过SparkSQL JDBC连接数据库的好处，不过这不是本文的重点 。JDBC(Java DataBase Connectivity)：是一套统一访问各类数据库的标准Java接口，为各个数据库厂商提供了标准的实现。通过JDBC技术，开发人员可以用纯Java语言和标准的SQL语句编写完整的数据库应用程序，并且真正地实现了软件的跨平台性。

Spark SQL also includes a data source that can read data from other databases using JDBC. This functionality should be preferred over using JdbcRDD. This is because the results are returned as a DataFrame and they can easily be processed in Spark SQL or joined with other data sources. The JDBC data source is also easier to use from Java or Python as it does not require the user to provide a ClassTag.

简单点来说，通过JDBC连接DB，得到DataFrame，可以更容易、更高效的使用Spark SQL引擎来处理数据(优于JdbcRDD)。

2，官方提供了2种使用JDBC接口的方法。

第一种：

使用DataFrameReader 类提供的load()方法从指定数据库读取数据

对应的代码是：

DatasetjdbcDF = spark.read().format("jdbc")   #代表使用jdbc方式

.option("url", "jdbc:postgresql:dbserver")

#url的格式是jdbc:postgresql://数据库IP:端口号/数据库名称

.option("dbtable", "schema.tablename") #要访问的具体的表

.option("user", "username"