我们使用IDEA开发了一个简单的Demo,用于演示Spark 访问数据库的一些基本操作。本Demo使用数据库包括了 MySQL 和 openGauss 两种。
前提条件:
1、Spark 环境安装
2、数据库安装:MYSQL,OpenGauss
新进SpringBoot Maven项目 Spark-Demo ,pom 关键信息 Spark相关组件,MySQL驱动,openGauss访问驱使用postgresql驱动,本人使用的是本地添加postgresql.jar包方式。
本项目提供了使用Spark 操作MYSQL,OpenGauss数据库的使用用例包括:
表查询,新建表,表插入数据。数据源连接需自行配置。
对于openGauss数据库访问操作,需将项目下lib文件夹中的postgresql.jar 添加到项目类库中。
在File -> Project Structure -> Libraries 中手动添加lib文件夹中postgresql.jar 。
具体项目代码:SparkDemo: Spark 访问数据库操作Demo 请自行下载。
参考信息:Spark JDBC To Other Databases
POM信息如下: