通过原生JdbcRDD连接数据库

我教你啊

已于 2022-10-09 17:05:21 修改

阅读量227

点赞数

分类专栏：代码实战记录文章标签： spark elasticsearch 大数据

于 2022-10-09 17:02:53 首次发布

本文链接：https://blog.csdn.net/m0_59492087/article/details/127230097

版权

代码实战记录专栏收录该内容

3 篇文章 0 订阅

订阅专栏

val connection =() =>{
      Class.forName("com.oscar.Driver").newInstance()
      DriverManager.getConnection(URL,用户名,密码)
    }

new JdbcRDD(sparkSession.sparkContext,
  connection,"SELECT * FROM TEST WHERE 1 = ? AND 1 = ?" ,1, 1, 5,
  res => {
    var dataMap:Map[String,Any] = Map()
    val rsmd = res.getMetaData
    val count = rsmd.getColumnCount
    for (i <- 1 to count) {
      val key = rsmd.getColumnLabel(i)
      val value = res.getString(i)
      dataMap += (key -> value)
    }
    dataMap
  }
)