批处理batch，执行多个SQL语句

最新推荐文章于 2024-10-08 10:57:48 发布

一代小雄

最新推荐文章于 2024-10-08 10:57:48 发布

阅读量5.9k

点赞数 2

分类专栏：数据库 java 文章标签：批处理 batch sql

java 同时被 2 个专栏收录

65 篇文章 0 订阅

订阅专栏

数据库

20 篇文章 0 订阅

订阅专栏

批处理batch，执行多个SQL语句。

[sql] view plain copy

try{
stmt=conn.createStatement();
conn.setAutoCommit(false);//取消自动提交
stmt.addBatch(”insert into person (name,password,age)values(‘A’,’AAA’,20)”);
stmt.addBatch(”insert into person (name,password,age)values(‘B’,’BBB’,20)”);
stmt.addBatch(”insert into person (name,password,age)values(‘C’,’CCC’,24)”);
stmt.addBatch(”insert into person (name,password,age)values(‘D’,’DDD’,46)”);
stmt.addBatch(”insert into person (name,password,age)values(‘E’,’EEE’,20)”);
//执行批处理语句
stmt.excuteBatch();
//如果没有异常，则执行此段代码
//提交事务，真正向数据库中提交数据
conn.commit();
}catch(Exception e){
//将数据回滚
try{
conn.rollback();
}catch(Exception e1){
}
}finally{
//关闭
}

注意其中的两个SQL语句，其一是stmt.addBatch();其二是stmt.excuteBatch();

在批量更新SQL操作的时候建议使用addBatch，这样效率是高些，数据量越大越能体现出来.

Statement接口里有两个方法：

void

addBatch(String sql)

将给定的 SQL 命令添加到此 Statement 对象的当前命令列表中。通过调用方法 executeBatch 可以批量执行此列表中的命令。

int[]

executeBatch()
将一批命令提交给数据库来执行，如果全部命令执行成功，则返回更新计数组成的数组。

返回：

包含批中每个命令的一个元素的更新计数所组成的数组（数组中的每个元素为：成功处理了命令后，执行命令所影响数据库中行数的更新计数）。数组的元素根据将命令添加到批中的顺序排序。

PreparedStatement接口里：重写了addBatch()的方法，executeBatch()并没有重写

void	addBatch() <注意：PreparedStatement的addBatch( )没有参数的> 将一组参数添加到此 PreparedStatement 对象的批处理命令中。

PreparedStatement.addbatch()的使用：

JDBC批量更新pstmt.addBatch();的问题

在数据量越大的时候越能体现addBatch()的优势

因为数据库的处理速度是非常惊人的单次吞吐量很大执行效率极高
addBatch()把若干sql语句装载到一起，然后一次送到数据库执行，执行需要很短的时间
而pstmt.executeUpdate()是一条一条发往数据库执行的时间都消耗在数据库连接的传输上面

举个例子可以帮助理解： 
我这有一台超大功率的面粉加工机，前者相当于 把所有农户袋装的麦子收集起来用卡车一次送往加工厂 后者相当于农户排好队用同样的卡车一人一人的往加工厂送麦子 麦子加工5分钟完成，但是每个人到工厂就得3小时，我数据库执行效率再高也没用，时间都耗在传输的路上了！！

这就出现了数据传输的性能瓶颈 addBatch就是为解决这样的问题而产生的！

Statement和PreparedStatement的区别就不多废话了,直接说PreparedStatement最重要的addbatch()结构的使用.

1.建立链接,(打电话拨号 )

Connection connection =getConnection();

2.不自动 Commit (瓜子不是一个一个吃,全部剥开放桌子上,然后一口舔了)

connection.setAutoCommit(false);

3.预编译SQL语句,只编译一回哦,效率高啊.(发明一个剥瓜子的方法,以后不要总想怎么剥瓜子好.就这样剥.)
PreparedStatement statement= connection.prepareStatement(“INSERT INTO TABLEX VALUES(?, ?)”);

4.来一个剥一个,然后放桌子上

//记录1
statement.setInt(1, 1);
statement.setString(2, “Cujo”);
statement.addBatch();//把这条执行语句加到PreparedStatement对象的批处理命令中

//记录2
statement.setInt(1, 2);
statement.setString(2, “Fred”);
statement.addBatch();//把这条执行语句加到PreparedStatement对象的批处理命令中

//记录3
statement.setInt(1, 3);
statement.setString(2, “Mark”);
statement.addBatch(); //把这条执行语句加到PreparedStatement对象的批处理命令中

//批量执行上面3条语句. 一口吞了,很爽
int [] counts =statement.executeBatch();//把以上添加到批处理命令中的所有命令一次过提交给数据库来执行

//Commit it 咽下去,到肚子(DB)里面
connection.commit();

关于两个prepareStatement方法的区别：两者都是创建一个 PreparedStatement 对象来将参数化的 SQL 语句发送到数据库，区别仅仅在于，第二个PreparedStatement对象有个ResultSet getGeneratedKeys();方法可以返回执行Statement对象而创建的任何自动生成的键（主要是自增的键）的结果集

PreparedStatement	prepareStatement(String sql) 创建一个 PreparedStatement 对象来将参数化的 SQL 语句发送到数据库。
PreparedStatement	prepareStatement(String sql,int autoGeneratedKeys) 创建一个默认 PreparedStatement 对象，该对象能获取自动生成的键。

在此笔记里，我们将看到我们如何可以使用像Statement和PreparedStatement JDBC API来批量在任何数据库中插入数据。此外，我们将努力探索一些场景，如在内存不足时正常运行，以及如何优化批量操作。

首先，使用Java JDBC基本的API批量插入数据到数据库中。

Simple Batch - 简单批处理
我把它叫做简单批处理。要求很简单，执行批量插入列表，而不是为每个INSERT语句每次提交数据库，我们将使用JDBC批处理操作和优化性能。

想想一下下面的代码：

Bad Code
 String [] queries = {
    "insert into employee (name, city, phone) values ('A', 'X', '123')",
    "insert into employee (name, city, phone) values ('B', 'Y', '234')",
    "insert into employee (name, city, phone) values ('C', 'Z', '345')",
 };
Connection connection = new getConnection();
Statement statemenet = connection.createStatement();
 for (String query : queries) {
    statemenet.execute(query);
}
statemenet.close();
connection.close();

这是糟糕的代码。它单独执行每个查询，每个INSERT语句的都提交一次数据库。考虑一下，如果你要插入1000条记录呢？这是不是一个好主意。

下面是执行批量插入的基本代码。来看看：

Good Code

Connection connection = new getConnection();
Statement statemenet = connection.createStatement();
 for (String query : queries) {
    statemenet.addBatch(query);
}
statemenet.executeBatch();
statemenet.close();
connection.close();

请注意我们如何使用addBatch（）方法，而不是直接执行查询。然后，加入所有的查询，我们使用statement.executeBatch（）方法一次执行他们。没有什么花哨，只是一个简单的批量插入。

请注意，我们已经从一个String数组构建了查询。现在，你可能会想，使其动态化。例如：

import java.sql.Connection;
import java.sql.Statement;
//...
Connection connection = new getConnection();
Statement statemenet = connection.createStatement();
for (Employee employee: employees) {
    String query = "insert into employee (name, city) values('"
            + employee.getName() + "','" + employee.getCity + "')";
    statemenet.addBatch(query);
}
statemenet.executeBatch();
statemenet.close();
connection.close();

请注意我们是如何从Employee对象中的数据动态创建查询并在批处理中添加，插入一气呵成。完美！是不是？

等等……你必须思考什么关于SQL注入？这样动态创建的查询SQL注入是很容易的。并且每个插入查询每次都被编译。

为什么不使用PreparedStatement而不是简单的声明。是的，这是个解决方案。下面是SQL注入安全批处理。

SQL Injection Safe Batch - SQL注入安全批处理
思考一下下面代码:

import java.sql.Connection;
import java.sql.PreparedStatement;
 //...
String sql = "insert into employee (name, city, phone) values (?, ?, ?)";
Connection connection = new getConnection();
PreparedStatement ps = connection.prepareStatement(sql);
 for (Employee employee: employees) {
    ps.setString(1, employee.getName());
    ps.setString(2, employee.getCity());
    ps.setString(3, employee.getPhone());
    ps.addBatch();
}
ps.executeBatch();
ps.close();
connection.close();

看看上面的代码。漂亮。我们使用的java.sql.PreparedStatement和在批处理中添加INSERT查询。这是你必须实现批量插入逻辑的解决方案，而不是上述Statement那个。

这一解决方案仍然存在一个问题。考虑这样一个场景，在您想要插入到数据库使用批处理上万条记录。嗯，可能产生的OutOfMemoryError：

java.lang.OutOfMemoryError: Java heap space
com.mysql.jdbc.ServerPreparedStatement$BatchedBindValues.<init>(ServerPreparedStatement.java:72)
com.mysql.jdbc.ServerPreparedStatement.addBatch(ServerPreparedStatement.java:330)
org.apache.commons.dbcp.DelegatingPreparedStatement.addBatch(DelegatingPreparedStatement.java:171)

这是因为你试图在一个批次添加所有语句，并一次插入。最好的办法是将执行分批次。看看下面的解决方案

Smart Insert: Batch within Batch - 智能插入：将整批分批
这是一个简单的解决方案。考虑批量大小为1000，每1000个查询语句为一批插入提交。

String sql = "insert into employee (name, city, phone) values (?, ?, ?)";
Connection connection = new getConnection();
PreparedStatement ps = connection.prepareStatement(sql);
final int batchSize = 1000;
int count = 0;
for (Employee employee: employees) {
    ps.setString(1, employee.getName());
    ps.setString(2, employee.getCity());
    ps.setString(3, employee.getPhone());
    ps.addBatch();
    if(++count % batchSize == 0) {
        ps.executeBatch();
    }
}
ps.executeBatch(); // insert remaining records
ps.close();
connection.close();

这才是理想的解决方案，它避免了SQL注入和内存不足的问题。看看我们如何递增计数器计数，一旦BATCHSIZE 达到 1000，我们调用executeBatch（）提交。

来源： http://itindex.blog.51cto.com/3619105/801447