JDBC连接方式批处理将数据插入MySQL、Oracle数据库中

最新推荐文章于 2024-09-12 09:47:49 发布

GulfMoon

最新推荐文章于 2024-09-12 09:47:49 发布

阅读量360

点赞数

分类专栏： Mysql Oracle 文章标签： Oracle mysql

本文链接：https://blog.csdn.net/u011817217/article/details/81669828

版权

Mysql 同时被 2 个专栏收录

3 篇文章 0 订阅

订阅专栏

Oracle

2 篇文章 0 订阅

订阅专栏

一、工具类

连接工具类==> JDBC方式连接MySQL、Oracle、Hive、Spark等，通用工具类（Scala版），在此基础上添加批量插入的方法，代码如下：

def executeBatchUpdate(sqls: ArrayBuffer[String]){
    var conn:Connection = null
    var stat:Statement = null
    try {
      conn = getConnection()
      stat = conn.createStatement()

      for(sql<-sqls)
      {
        stat.addBatch(sql)
      }
      stat.executeBatch()
    }catch{
      case e : Exception => {
        throw new Exception(e)
      }
    }finally{
      if(stat!=null) {
        stat.close()
      }
      if(conn!=null){
        closeConnection()
      }
    }
  }

二、使用示例

 def bathInsertData(dataSet:Set[Map[String, Object]]):Unit = {
    val arrayBuffer = new ArrayBuffer[String]()
    var count = 1
    //可以在配置文件中配置，此处为方便写死
    val DB_BATCH_UPDATE_SIZE = 10 

    for (map <- dataSet) {
      //业务处理逻辑
      val insertSql = ""
      arrayBuffer += insertSql

      //batch insert
      if (count % DB_BATCH_UPDATE_SIZE == 0){
        JDBCUtil.executeBatchUpdate(arrayBuffer)
        arrayBuffer.clear()
      }
      count = count + 1
    }

    //batch insert
    JDBCUtil.executeBatchUpdate(arrayBuffer)
  }

Just enjoy it！