1 背景
输入数据源是从数据库读取的
基于spark 开发
本文的内容是读取mysql
2 步骤
2.1 搭建工程
基于maven搭建spark工程_this is a book的博客-CSDN博客_maven 添加spark
2.2 pom中加入数据库驱动依赖
<!-- mysql-connector-java -->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version> 8.0.26</version>
</dependency>
2.3 编写代码
SparkConf conf = new SparkConf().setAppName("demo").setMaster("local[*]");
SparkSession sparkSession = SparkSession.builder().config(conf).getOrCreate();
Dataset<Row> load = sparkSession.read()
.format("jdbc")
.option("driver", "com.mysql.cj.jdbc.Driver")
.option("url", "jdbc:mysql://")
.option("user","")
.option("password","")
.option("dbtable","要查询的表")
.load();
load.show();