使用spark rdd连接mysql数据源

最新推荐文章于 2021-05-12 18:56:36 发布

sisi.li8

最新推荐文章于 2021-05-12 18:56:36 发布

阅读量981

点赞数

分类专栏： spark 文章标签： sparkrdd mysql spark

本文链接：https://blog.csdn.net/qq_35885488/article/details/102813737

版权

本文介绍了如何在Spark中使用RDD从MySQL数据库进行读取和插入操作。首先，要在pom.xml中添加MySQL的依赖。接着，定义连接MySQL的参数并创建JdbcRDD来访问数据库，最后展示读取和插入数据的结果。

摘要由CSDN通过智能技术生成

Spark 支持通过Java JDBC访问关系型数据库。需要通过JdbcRDD进行，示例如下:

1. 在pom.xml中添加mysql的依赖

 <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>5.1.27</version>
    </dependency>

2. Mysql读取过程：

2.1 定义连接mysql的参数

val driver = "com.mysql.jdbc.Driver"
val url = "jdbc:mysql://localhost:3306/tmall_ssm"
val userName = "root"
val passWd = "admin111"

2.2 创建jdbcrdd访问数据库

查看jdbcrdd源码，其中lowerBlowound和upperBound代表数据范围

class JdbcRDD[T: ClassTag](
    sc: SparkContext,
    getConnection: () => Connection,
    sql: String,
    lowerBlowound: Long,
    upperBound: Long,
    numPartitions: Int