package com.day_212
import java.sql.DriverManager
import org.apache.spark.rdd.JdbcRDD
import org.apache.spark.{SparkConf, SparkContext}
/**
* TODO
*
* @author 徐磊
* @email wc199608203213@136.com
* @data2020/02/12 下午 07:48
* @最终需求效果:
*/
object One extends App {
val con = new SparkConf().setAppName("rddmysql").setMaster("local[2]")
val sc = new SparkContext(con)
//********************************直接从mysql中读取数据(并且加条件)
//1、获取数据库连接的函数
val getcon=()=>{
Class.forName("com.mysql.jdbc.Driver").newInstance()
DriverManager.getConnection("jdbc:mysql://node132:3306/xss","root","root")
}
//2、创建读取RDD
val jdbcmysql=new JdbcRDD(
sc, //sc程序入口
getcon, // 数据库连接
"select * from student where id >=? and id <=?", //条件查询语句
2, //最小值
3, //最大值
2, //partition分区
ressultSet=>{//返回内容(获取内容)
从spark直接从Mysql中读取数据形成RDD,然后计算完成存入mysql
最新推荐文章于 2022-05-28 10:32:03 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)