jdbc批处理原理分析

 需要向数据库发送多条sql语句时, 为了提升执行效率, 可以考虑采用JDBC的批处理机制.

JDBC的批处理机制主要涉及Statement或PreparedStatement对象的以下方法:

|--addBatch(String sql) ：Statement类的方法, 多次调用该方法可以将多条sql语句添加到Statement对象的命令列表中.

执行批处理时将一次性的把这些sql语句发送给数据库进行处理.

|--addBatch(): PreparedStatement类的方法, 多次调用该方法可以将多条预编译的sql语句添加到PreparedStatement对象的命令列表中.

执行批处理时将一次性的把这些sql语句发送给数据库进行处理.

|--executeBatch()：把Statement对象或PreparedStatement对象命令列表中的所有sql语句发送给数据库进行处理.

|--clearBatch():  清空当前sql命令列表.

 

/*
 * create table batch_test(id int primary key auto_increment, name varchar(40), age int);
 */
public class BatchTest {
	@Test
	public void statementBatch() {
		Connection conn = null;
		Statement st = null;
		String sql_1 = "insert into batch_test(name, age) values('coolxing', 24)";
		String sql_2 = "insert into batch_test(name, age) values('coolmin', 22)";
		String sql_3 = "insert into batch_test(name, age) values('yong', 21)";
		String sql_4 = "update batch_test set name='java' where id=1";

		try {
			conn = JdbcUtils.getConnection();
			st = conn.createStatement();
			st.addBatch(sql_1);
			st.addBatch(sql_2);
			st.addBatch(sql_3);
			st.addBatch(sql_4);
			st.executeBatch();
			st.clearBatch();
		} catch (SQLException e) {
			e.printStackTrace();
		} finally {
			JdbcUtils.release(null, st, conn);
		}
	}

	@Test
	public void preparedStatementBatch() {
		Connection conn = null;
		PreparedStatement st = null;
		String sql = "insert into batch_test(name, age) values(?, ?)";

		try {
			conn = JdbcUtils.getConnection();

			//通过只打开一个连接
			st = conn.prepareStatement(sql);
			for (int i = 0; i < 10002; i++) {
				st.setString(1, "coolxing_" + i);
				st.setInt(2, i);
				st.addBatch();
				// 需要防止Preparedstatement对象中的命令列表包含过多的待处理sql语句, 而造成outOfMemory错误
				if (i % 500 == 0) {
					st.executeBatch();
					st.clearBatch();
				}
			}
			// 将剩下的未处理命令发送给数据库
			st.executeBatch();
		} catch (SQLException e) {
			e.printStackTrace();
		} finally {
			JdbcUtils.release(null, st, conn);
		}
	}
}

 

 

 

总结: 采用Statement.addBatch(sql)方式实现批处理可以向数据库发送不同类型的sql语句, 但是这些sql语句没有进行预编译, 执行效率不高. 且需要列出每一个sql语句. 而PreparedStatement.addBatch()只能应用在类型相同参数不同的sql语句中, 此种形式的批处理经常用于在同一个表中批量插入数据, 或批量更新表的数据.

注意不要一次性向命令列表中添加数量过多的sql语句, 防止出现outOfMemory错误.

 

原理分析：

前期的代码在与数据库进行通信时，都是先建立连接，建立连接花费的成本是最高的，然后发一个SQL语句，执行完后就关闭了连接。还有一个问题是发送的SQL语句都是通过网络传送的，比起本地调用来说，网络传输的成本也是高很多的。如果要插入或者更新一批数据进数据库，还是采用前期的方法，花费的时间会很多，给用户的感受会很慢。但是如果采用批处理，则在两个方便都会节约大部分成本，速度会更快。下面是批处理的示例代码：
      static void createBatch() throws SQLException {
          Connection conn = null;
          PreparedStatement ps = null;
          ResultSet rs = null;
          try {
              conn = JdbcUtils.getConnection();
              String sql = "insert into user(name,birthday, money) values (?, ?, ?) ";
              ps = conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS);
              for (int i = 0; i < 100; i++) {
                  ps.setString(1, "batch name" + i);
                  ps.setDate(2, new Date(System.currentTimeMillis()));
                  ps.setFloat(3, 100f + i);
 
                  ps.addBatch();
              }
              int[] is = ps.executeBatch();
          } finally {
              JdbcUtils.free(rs, ps, conn);
          }
      }
    如果不用批处理语句打包，则需要调用以前的create方法一百次，完成一百次数据库的连接和网络通讯。用批处理的方式，可以将100次插入打成一个包，然后一次性发给数据库，数据库执行完毕，返回结果。如果在两种方法调用上加上时间，就能够区分两者的速度差距了。但是并不是说用了批处理就一定比不用批处理要快，这根数据的版本、驱动的版本等都有很大关系。所以实际要用的时候，应该在环境上先测试一下两者的效果。