Java通过JDBC向数据库批量插入数据(MySQL为例)

8 篇文章 0 订阅
6 篇文章 0 订阅
本文详细介绍了Java使用JDBC进行批量处理的机制,包括Statement和PreparedStatement两种方式,并通过案例分析了批量插入数据的效率。文中提到了在MySQL 8.0.x环境下开启批处理的方法,以及驱动程序的版本选择。通过对比不同批量处理策略,展示了关闭自动提交和分批提交对性能的影响。
摘要由CSDN通过智能技术生成

注:本文仅供学习参考,作者水平有限,如有错误还请指正!

         在数据库中需要大量插入或更新记录时,可以使用java的批量更新机制,这一机制允许多条语句一次性提交给数据库批量处理。

1、 JDBC的批量处理语句:
  • addBatch(String):添加需要批量处理的SQL语句或是参数;
  • executeBatch():执行批量处理语句;
  • clearBatch():清空缓存的数据
2、批量指向SQL语句的情况:
  • 多条SQL语句的批量处理
  • 一个SQL语句的批量处理
3、关于本案例的注意事项:
  • 该案例中使用的MySQL版本为8.0.x,故对应的mysql-connection-java驱动应为8.0.x

  • 5.x版本的驱动使用的驱动路径为:com.mysql.jdbc.Driver, 8.x版本的驱动路径为com.mysql.cj.jdbc.Driver

  • 在本案例的三、四中方式中使用了java的批处理(Batch),MySQL服务器默认是关闭的,我们需要通过一个参数,让mysql开启批处理支持。即,在配置文件的url后面加上参数“&rewriteBatchedStatements=true”。如下:

    user=root
    password=abc123
    url=jdbc:mysql://localhost:3306/test?characterEncoding=utf8&useUnicode=true&rewriteBatchedStatements=true
    driverClass=com.mysql.cj.jdbc.Driver

  • 有关数据库的连接、插入等操作可参考博文:

    • 连接数据库:https://blog.csdn.net/m0_47015897/article/details/123206573?spm=1001.2014.3001.5501
    • 对数据库增删改查:https://blog.csdn.net/m0_47015897/article/details/123342211?spm=1001.2014.3001.5501
4、驱动程序
5、案例源码
  • 实验使用的表结构:
CREATE TABLE goods(
	id INT PRIMARY KEY AUTO_INCREMENT,
	NAME VARCHAR(25)
);
  • java源码
package com.Etui5.blob;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.Statement;

import org.junit.Test;

import com.Etui3.util.JDBCUtils;

/**
 * 使用PreparedStatement实现批量数据的操作
 * 
 * update、delete本身就具备批量操作的效果
 * 此时的批量操作主要指的是批量插入。使用PreparedStatement实现更高效的批量操作
 * 
 * 方式一:使用Statement
 * 
 *
 */
public class insertTest {
	
	// 批量插入数据方式一:使用Statement
//	@Test 
	public void testInsert1() throws Exception {
		Connection conn = JDBCUtils.getConnection();
		Statement st = conn.createStatement();
		for(int i = 0; i < 20000; i++) {
			String sql = "insert into goods(name) values('nmae_" + i + "')";
			st.execute(sql);
		}
		conn.close();
		st.close();
	}
	
	// 方式二:使用PreparedStatement
//	@Test
	public void testInsert2() {
		Connection conn = null;
		PreparedStatement ps = null;
		try {
			long start = System.currentTimeMillis();
			conn = JDBCUtils.getConnection();
			String sql = "insert into goods(name) values(?)";
			ps = conn.prepareStatement(sql);
			for(int i = 0; i < 20000; i++) {
				ps.setObject(1, "name_" + i);
				ps.execute();
			}
			
			long end = System.currentTimeMillis();
			
			System.out.println("花费时间为:" + (end - start) + "ms"); // 20000条:51188ms
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			JDBCUtils.closeResource(conn, ps);			
		}
	}
	
	// 方式三:
	// 1、批量处理方式:addBatch(), executeBatch(), clearBatch()
	// 2、mysql 服务器默认是关闭批处理的,我们需要通过一个参数,让mysql开启批处理支持
	// 			?rewriteBatchedStatements=true写在配置文件的url后面
	// 3、使用更新的mysql驱动:5.1.37,该驱动需与mysql的版本对应,我使用的为8.0.27
	// 4、以往练习使用的都是5.1.7驱动,连接驱动为com.mysql.jdbc.Driver,8.0.x版本需改为com.mysql.cj.jdbc.Driver
//	@Test
	public void testInsert3() {
		Connection conn = null;
		PreparedStatement ps = null;
		try {
			long start = System.currentTimeMillis();
			conn = JDBCUtils.getConnection();
			String sql = "insert into goods(name) values(?)";
			ps = conn.prepareStatement(sql);
			for(int i = 0; i < 1000000; i++) {
				ps.setObject(1, "name_" + i);
//				ps.execute();
				
				// 每插入500条插入一次
				// 添加到批处理
				ps.addBatch();
				if(i % 500 == 0) {
					// 执行批量操作
					ps.executeBatch();
					// 清空batch
					ps.clearBatch();
				}
			}
			
			long end = System.currentTimeMillis();
			
			System.out.println("花费时间为:" + (end - start) + "ms"); // 20000条:349ms,1000000条:15833ms
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			JDBCUtils.closeResource(conn, ps);			
		}
	}
	
	// 方式四: 
	// 将自动提交关闭
	@Test
	public void testInsert4() {
		Connection conn = null;
		PreparedStatement ps = null;
		try {
			long start = System.currentTimeMillis();
			conn = JDBCUtils.getConnection();
			
			conn.setAutoCommit(false);// 关闭自动提交
			
			String sql = "insert into goods(name) values(?)";
			ps = conn.prepareStatement(sql);
			for(int i = 0; i < 1000000; i++) {
				ps.setObject(1, "name_" + i);
				ps.addBatch();
				if(i % 500 == 0) {
					ps.executeBatch();
					ps.clearBatch();
				}
			}
			
			conn.commit();// 预处理完成后统一提交
			
			long end = System.currentTimeMillis();
			
			System.out.println("花费时间为:" + (end - start) + "ms"); // 1000000条:9505ms
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			JDBCUtils.closeResource(conn, ps);			
		}
	}
}

### JDBC连接MySQL数据库批量插入数据 #### 准备工作 为了实现JDBC连接到MySQL并进行批量插入操作,需先加载相应的驱动程序,并建立与目标数据库的连接。这通常涉及设置正确的JDBC URL来指定要访问的具体数据库实例[^2]。 #### 创建批处理对象 在Java应用程序中准备Statement或PreparedStatement接口的一个实例,用于发送SQL语句至数据库服务器。对于批量插入来说,推荐使用`PreparedStatement`因为它能有效防止SQL注入攻击的同时提高性能[^3]。 #### 设置自动提交属性 默认情况下,每次执行更新都会立即生效;然而,在批量插入场景里,关闭事务的自动提交功能可以让所有更改在一个单独的事务内完成,从而减少磁盘I/O次数,提升效率。可以通过调用Connection对象上的方法来改变此行为: ```java connection.setAutoCommit(false); ``` #### 添加批处理指令 利用`addBatch()`函数向预编译好的SQL命令添加参数化值集,之后再一次性提交整个批次的数据数据库引擎处理。下面是一个具体的例子展示怎样构建这样的流程[^1]: ```java String sql = "INSERT INTO table_name (column1, column2) VALUES (?, ?)"; try(PreparedStatement pstmt = connection.prepareStatement(sql)){ for(int i=0; i<list.size(); ++i){ Object[] row = list.get(i); // 假设每条记录存储于数组形式的对象列表之中 pstmt.setObject(1, row[0]); pstmt.setObject(2, row[1]); pstmt.addBatch(); if((i+1)%batchSize==0 || i==(list.size()-1)){// 当达到设定大小或是最后一组时执行批处理 pstmt.executeBatch(); connection.commit(); // 清除之前的批处理以防内存溢出 pstmt.clearBatch(); } } }catch(Exception e){ try{ connection.rollback();// 发生异常则回滚交易 }catch(SQLException ex){} } finally { connection.setAutoCommit(true);// 操作完成后恢复初始状态 } ``` 上述代码片段展示了如何高效地将大量数据分批写入MySQL表中的方式之一。值得注意的是,这里还包含了错误处理逻辑以确保即使遇到问题也能保持数据的一致性和完整性。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值