Spark-RDD连接MySQL数据库

最新推荐文章于 2021-10-12 10:33:14 发布

SixRope

最新推荐文章于 2021-10-12 10:33:14 发布

阅读量695

点赞数 2

分类专栏： spark 文章标签： spark mysql 数据库 jdbc sql

本文链接：https://blog.csdn.net/qq_42501498/article/details/103806941

版权

spark支持通过Java JDBC 访问关系型数据库。需要通过JdbcRDD进行，示例如下：
（1）添加依赖

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.27</version>
</dependency>

（2）MySQL读取

package com.atguigu.bigdata.spark

import java.sql.{
   Connection, PreparedStatement}

import org.apache.spark.{
   SparkConf, SparkContext}
import org.apache.spark.rdd.{
   JdbcRDD, RDD}

/**
  * @com.atguigu.bigdata.spark
  * @author sixrope
  * @date 2019-12-17  16:54
  * @version v1.0
  * @description
  *   RDD与MySQL数据库连接
  */
object Spark01_Mysql {
   
  def main(args: Array[String]): Unit = {
   
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("Spark01_Mysql")
    // 创建Spark上下文对象
    val sc = new SparkContext(config)