Spark版本:2.2.0
通过JDBC配置可以读取 Mysql、Oracle、Gbase、Hive 等数据库的数据,JDBC 配置选项如下:
配置名称 | 含义 |
---|---|
url | 要连接的JDBC URL。 |
dbtable | 应该读取的JDBC表。请注意,FROM 可以使用在SQL查询的子句中有效的任何内容。例如,您也可以在括号中使用子查询,而不是完整的表。 |
driver | 用于连接到此URL的JDBC驱动程序的类名。 |
partitionColumn, lowerBound, upperBound, numPartitions | 如果指定了任何选项,则必须全部指定这些选项。它们描述了在从多个工作者并行读取时如何对表进行分区。partitionColumn 必须是相关表格中的数字列。请注意,lowerBound 和upperBound 只是用来决定分区步幅,而不是在表中过滤行。因此,表中的所有行都将被分区并返回。 |
fetchSize | JDBC提取大小,用于确定每次往返要获取的行数。这可以帮助JDBC驱动程序的性能,默认为低读取大小(例如,Oracle有10行)。 |
下面以读Mysql 和 Hive 数据库为例 :
pom 文件
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.0</version>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.6</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>2.1.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.11</artifactId>
<version>2.2.0</version>
</dependency>
</dependencies>
程序如下:
package org.lw.spark;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import java.util.HashMap;
import java.util.Map;
public class SparkJDBC{
public static void main(String aes[]){
//初始化 SparkSession
SparkSession spark=SparkSession
.builder()
.appName("SparkJDBC")
.master("local[2]")
.getOrCreate();
//配置Mysql JDBC 信息
Map<String, String> options = new HashMap<>();
options.put("url", "jdbc:mysql://192.168.8.1:3306/sample");
options.put("driver", "com.mysql.jdbc.Driver");
options.put("dbtable", "test");
options.put("user", "user");
options.put("password", "pwddd");
Dataset<Row> jdbcDF = spark.read().format("jdbc").options(options).load();
jdbcDF.show();
//配置 Hive JDBC 信息
Map<String, String> options2 = new HashMap<>();
options2.put("url", "jdbc:hive2://192.168.8.2:10000/default");
options2.put("driver", "org.apache.hive.jdbc.HiveDriver");
options2.put("dbtable", "sample_07");
Dataset<Row> jdbcDF2 = spark.read().format("jdbc").options(options2).load();
jdbcDF2.show();
}
}