excel导入mysql并批量查询_Excel导入MySql数据库批量操作

今天在做一个将excel数据导入数据库的程序时，由于数据量大，准备采用jdbc的批量插入。于是用了preparedStatement.addBatch();当加入1w条数据时，再执行插入操作，preparedStatement.executeBatch()。我原以为这样会很快，结果插入65536条数据一共花30多分钟，完全出乎我的意料。于是问了一下同事，他们在处理这种大批量数据导入的时候是如何处理的，发现他们也是用的jdbc批量插入处理，但与我不同是：他们使用了con.setAutoCommit(false);然后再preparedStatement.executeBatch()之后，再执行con.commit();于是再试，什么叫奇迹？就是刚刚导入这些数据花了半小时，而加了这两句话之后，现在只用了15秒钟就完成了。于是去查查了原因，在网上发现了如下一段说明：

* When importing data into InnoDB, make sure that MySQL does not have autocommit mode enabled because that

requires a log flush to disk for every insert. To disable autocommit during your import operation, surround it with

SET autocommit and COMMIT statements:

SET autocommit=0;

... SQL import statements ...

COMMIT;

第一次，正是因为没有setAutoCommit(false)；那么对于每一条insert语句，都会产生一条log写入磁盘，所以虽然设置了批量插入，但其效果就像单条插入一样，导致插入速度十分缓慢。

部分代码如下：

String sql = "insert into table *****";

con.setAutoCommit(false);

ps = con.prepareStatement(sql);

for(int i=1; i<65536; i++){

ps.addBatch();

// 1w条记录插入一次

if (i % 10000 == 0){

ps.executeBatch();

con.commit();

}

}

// 最后插入不足1w条的数据

ps.executeBatch();

con.commit();

照抄，问题解决

【3】当数据库的记录超过2500条的时候，一次全部读取会造成内存溢出，死机，程序崩溃。

解决方法：多线程分批次读取，每个线程每次只读200条

可能有待于改进的地方：

可以直接利用sql查询出48天之内的数据，而不用后续在Java中比对

分享到：

2015-12-31 10:07

浏览 1450

分类:数据库

评论