RDD从mysql中读取数据和RDD往数据库中存数据

最新推荐文章于 2024-08-01 09:26:14 发布

struggle@徐磊

最新推荐文章于 2024-08-01 09:26:14 发布

阅读量634

点赞数 1

分类专栏： # Spark Core 文章标签：大数据

本文链接：https://blog.csdn.net/qq_44472134/article/details/104286443

版权

本文详细介绍了如何使用Spark的RDD API从MySQL数据库中读取数据，并将处理后的数据写回数据库，涵盖了大数据处理中的数据导入导出流程。

摘要由CSDN通过智能技术生成

package com.day_212

import java.sql.DriverManager

import org.apache.spark.rdd.JdbcRDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * TODO
 *
 * @author 徐磊
 * @email wc199608203213@136.com
 * @data2020/02/12 下午 07:48
 * @最终需求效果：
 */
object One extends App {
val con = new SparkConf().setAppName("rddmysql").setMaster("local[2]")
  val sc = new SparkContext(con)
  //********************************直接从mysql中读取数据（并且加条件）
  val getcon=()=>{
    Class.forName("com.mysql.jdbc.Driver").newInstance()
    DriverManager.getConnection("jdbc:mysql://node132:3306/xss","root","root")
  }
  val jdbcmysql=new JdbcRDD(
    sc,  //sc程序入口
    getcon,  // 数据库连接
    "select * from student where id >=? and id <=?",  //条件查询语句
    2,  //最小值
    3,  //最大值
    2,  //partition分区
    ressultSet=>{//返回内容（获取内容）   ressultSet是自己起的别名，可以随便起