Java通过JDBC向数据库批量插入数据（MySQL为例）

注：本文仅供学习参考，作者水平有限，如有错误还请指正！

         在数据库中需要大量插入或更新记录时，可以使用java的批量更新机制，这一机制允许多条语句一次性提交给数据库批量处理。

1、 JDBC的批量处理语句：

• addBatch(String)：添加需要批量处理的SQL语句或是参数；
• executeBatch()：执行批量处理语句；
• clearBatch():清空缓存的数据

2、批量指向SQL语句的情况：

• 多条SQL语句的批量处理
• 一个SQL语句的批量处理

3、关于本案例的注意事项：

• 该案例中使用的MySQL版本为8.0.x，故对应的mysql-connection-java驱动应为8.0.x

• 5.x版本的驱动使用的驱动路径为：com.mysql.jdbc.Driver， 8.x版本的驱动路径为com.mysql.cj.jdbc.Driver

• 在本案例的三、四中方式中使用了java的批处理（Batch），MySQL服务器默认是关闭的，我们需要通过一个参数，让mysql开启批处理支持。即，在配置文件的url后面加上参数“&rewriteBatchedStatements=true”。如下：

  user=root
  password=abc123
  url=jdbc:mysql://localhost:3306/test?characterEncoding=utf8&useUnicode=true&rewriteBatchedStatements=true
  driverClass=com.mysql.cj.jdbc.Driver

• 有关数据库的连接、插入等操作可参考博文：

  • 连接数据库：https://blog.csdn.net/m0_47015897/article/details/123206573?spm=1001.2014.3001.5501
  • 对数据库增删改查：https://blog.csdn.net/m0_47015897/article/details/123342211?spm=1001.2014.3001.5501

4、驱动程序

• 我使用的驱动程序为8.0.27版本，官网下载：MySQL :: Download MySQL Connector/J (Archived Versions)
  
• 使用方式：将mysql-connectior-java-8.0.27.jar解压至lib文件夹下加载即可
  

5、案例源码

• 实验使用的表结构：

CREATE TABLE goods(
	id INT PRIMARY KEY AUTO_INCREMENT,
	NAME VARCHAR(25)
);

• java源码

package com.Etui5.blob;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.Statement;

import org.junit.Test;

import com.Etui3.util.JDBCUtils;

/**
 * 使用PreparedStatement实现批量数据的操作
 * 
 * update、delete本身就具备批量操作的效果
 * 此时的批量操作主要指的是批量插入。使用PreparedStatement实现更高效的批量操作
 * 
 * 方式一：使用Statement
 * 
 *
 */
public class insertTest {
	
	// 批量插入数据方式一：使用Statement
//	@Test 
	public void testInsert1() throws Exception {
		Connection conn = JDBCUtils.getConnection();
		Statement st = conn.createStatement();
		for(int i = 0; i < 20000; i++) {
			String sql = "insert into goods(name) values('nmae_" + i + "')";
			st.execute(sql);
		}
		conn.close();
		st.close();
	}
	
	// 方式二：使用PreparedStatement
//	@Test
	public void testInsert2() {
		Connection conn = null;
		PreparedStatement ps = null;
		try {
			long start = System.currentTimeMillis();
			conn = JDBCUtils.getConnection();
			String sql = "insert into goods(name) values(?)";
			ps = conn.prepareStatement(sql);
			for(int i = 0; i < 20000; i++) {
				ps.setObject(1, "name_" + i);
				ps.execute();
			}
			
			long end = System.currentTimeMillis();
			
			System.out.println("花费时间为：" + (end - start) + "ms"); // 20000条:51188ms
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			JDBCUtils.closeResource(conn, ps);			
		}
	}
	
	// 方式三：
	// 1、批量处理方式：addBatch(), executeBatch(), clearBatch()
	// 2、mysql 服务器默认是关闭批处理的，我们需要通过一个参数，让mysql开启批处理支持
	// 			?rewriteBatchedStatements=true写在配置文件的url后面
	// 3、使用更新的mysql驱动：5.1.37，该驱动需与mysql的版本对应，我使用的为8.0.27
	// 4、以往练习使用的都是5.1.7驱动，连接驱动为com.mysql.jdbc.Driver，8.0.x版本需改为com.mysql.cj.jdbc.Driver
//	@Test
	public void testInsert3() {
		Connection conn = null;
		PreparedStatement ps = null;
		try {
			long start = System.currentTimeMillis();
			conn = JDBCUtils.getConnection();
			String sql = "insert into goods(name) values(?)";
			ps = conn.prepareStatement(sql);
			for(int i = 0; i < 1000000; i++) {
				ps.setObject(1, "name_" + i);
//				ps.execute();
				
				// 每插入500条插入一次
				// 添加到批处理
				ps.addBatch();
				if(i % 500 == 0) {
					// 执行批量操作
					ps.executeBatch();
					// 清空batch
					ps.clearBatch();
				}
			}
			
			long end = System.currentTimeMillis();
			
			System.out.println("花费时间为：" + (end - start) + "ms"); // 20000条：349ms，1000000条：15833ms
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			JDBCUtils.closeResource(conn, ps);			
		}
	}
	
	// 方式四： 
	// 将自动提交关闭
	@Test
	public void testInsert4() {
		Connection conn = null;
		PreparedStatement ps = null;
		try {
			long start = System.currentTimeMillis();
			conn = JDBCUtils.getConnection();
			
			conn.setAutoCommit(false);// 关闭自动提交
			
			String sql = "insert into goods(name) values(?)";
			ps = conn.prepareStatement(sql);
			for(int i = 0; i < 1000000; i++) {
				ps.setObject(1, "name_" + i);
				ps.addBatch();
				if(i % 500 == 0) {
					ps.executeBatch();
					ps.clearBatch();
				}
			}
			
			conn.commit();// 预处理完成后统一提交
			
			long end = System.currentTimeMillis();
			
			System.out.println("花费时间为：" + (end - start) + "ms"); // 1000000条：9505ms
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			JDBCUtils.closeResource(conn, ps);			
		}
	}
}