Spark读取Mysql数据 JdbcRDD方式

本文介绍了如何利用Spark的JdbcRDD类通过指定的SQL查询从MySQL数据库中读取数据。主要内容包括理解JdbcRDD的参数,如SparkContext、获取Connection的方法、SQL查询语句、数据范围及分区数量,并提供了回调方法对查询结果集进行处理的示例。
摘要由CSDN通过智能技术生成

用JdbcRDD方式读MySQL数据
咱们先来看下他的源码 主要看下它的参数
在这里插入图片描述
下面是对参数的解释:
sc: SparkContext, // 这个是上下文的环境对象
getConnection: () => Connection, //这里是个无参函数 返回Connection
sql: String, // 这个是自己写的sql
lowerBound: Long, // 指的是数据的范围 数据上限
upperBound: Long, // 指的是数据的范围 数据下限
numPartitions: Int, // 分区的数量
mapRow: (ResultSet) => T = JdbcRDD.resultSetToObjectArray _) // 回调方法 当你的查询结果集回来后 你怎么样对他操作处理

下面是具体代码和解释:

package xxx

import java.sql.DriverManager

import org.apache.spark.rdd.JdbcRDD
import org.apache.spark.{SparkConf, SparkContext}


object MysqlDemo {


  def main(args: Array[String]): Unit = {

   // 创建Spark配置对象
    val conf = new SparkConf().setAppName(this.getClass.getSimpleName.filter(!_.equals('$'
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值