jdbc批处理大数据

在捕获保存那里，遇到一个问题，对于百万数据，就是效率问题，保存太慢，客户受不了，所以必须提高效率，下面就是提高效率的方法

提高效率的方法有两种：

1.使用存储过程（直接操作数据库）

2.使用批处理提高数据库

 

1.使用存储过程（直接操作数据库）

    存储过程代码示例：
      int age = 39;    

    String poetName = "dylan thomas";   

    CallableStatement proc = connection.prepareCall("{ call set_death_age(?, ?) }");   //加入存储过程名称

    proc.setString(1, poetName);  

    proc.setInt(2, age);  

    cs.execute();  

2.使用批处理提高数据库

l业务场景：当需要向数据库发送一批SQL语句执行时，应避免向数据库一条条的发送执行，而应采用JDBC的批处理机制，以提升执行效率。
l实现批处理有两种方式，第一种方式：
•Statement.addBatch(sql)
l执行批处理SQL语句
•executeBatch()方法：执行批处理命令
•clearBatch()方法：清除批处理命令

Connectionconn =null;

Statementst =null;

ResultSetrs =null;

try {

conn =JdbcUtil.getConnection();

String sql1 = "insert into user(name,password,email,birthday)

 values('kkk','123','abc@sina.com','1978-08-08')";

String sql2 = "update user set password='123456' where id=3";

st =conn.createStatement();

st.addBatch(sql1); //把SQL语句加入到批命令中

st.addBatch(sql2); //把SQL语句加入到批命令中

st.executeBatch();

}finally{

 JdbcUtil.free(conn,st,rs);

}

l采用Statement.addBatch(sql)方式实现批处理：

•优点：可以向数据库发送多条不同的ＳＱＬ语句。

•缺点：

•SQL语句没有预编译。

•当向数据库发送多条语句相同，但仅参数不同的SQL语句时，需重复写上很多条SQL语句。例如：

 Insert into user(name,password) values(‘aa’,’111’);

 Insert into user(name,password) values(‘bb’,’222’);

 Insert into user(name,password) values(‘cc’,’333’);

 Insert into user(name,password) values(‘dd’,’444’);

l实现批处理的第二种方式：

•PreparedStatement.addBatch()

conn =JdbcUtil.getConnection();

Stringsql = "insert into user(name,password,email,birthday) values(?,?,?,?)";

st =conn.prepareStatement(sql);

for(inti=0;i<50000;i++){

st.setString(1, "aaa" + i);

st.setString(2, "123" +i);

st.setString(3, "aaa" + i + "@sina.com");

st.setDate(4,new Date(1980, 10, 10));

st.addBatch();

if(i%1000==0){

st.executeBatch();

st.clearBatch();

}

}

st.executeBatch();

l 采用 PreparedStatement.addBatch () 实现批处理

• 优点：发送的是预编译后的 SQL 语句，执行效率高。

• 缺点：只能应用在 SQL 语句相同，但参数不同的批处理中。因此此种形式的批处理经常用于在同一个表中批量插入数据，或批量更新表的数据。