Excel导入MySql数据库批量操作

最近在帮朋友做一个计时提醒系统,大致业务如下:
某保险公司有一批保险业务保存在Excel里面,这些数据主要包括用户名字、手机号、车牌号、保险到期时间等。需要在保险到期时间之前(到期时间前48天)由系统提醒业务员,通知业务员给用户打电话(当然也可以通过云配语音盒实现自动拨号通知,用户没有这个需求,我没有提醒)。
我的设计思路是先将Excel数据导入MySql数据库,然后通过sql语句查询出所有的数据,再计算当前日期与数据中的日期是否小于等于48,如果是,则在界面中打出这一条数据,否则不打。
理想很丰满,现实很骨感。遇到问题及解决思路如下:
【1】通过读取properties文件读取文件路径的时候老是报错,提示找不文件,config.properties文件配置如下:excelpath = "D:\\data.xls"
解决方法:通过反复对比,发现properties文件中读取的后面字段直接就是字符串,不需要家双引号,应该改成如下配置形式:excelpath = D:\\data.xls
【2】通过jxl.jar读取出Excel文件后,由于数据量大,采用了jdbc的批量插入,但是插入消耗的时间很长,有时候要10多分钟。
解决方法:网上查找资料,http://my.oschina.net/u/1452675/blog/203670?fromerr=rl3JiqtV 该网页原文如下:
今天在做一个将excel数据导入数据库的程序时,由于数据量大,准备采用jdbc的批量插入。于是用了preparedStatement.addBatch();当加入1w条数据时,再执行插入操作,preparedStatement.executeBatch()。我原以为这样会很快,结果插入65536条数据一共花30多分钟,完全出乎我的意料。于是问了一下同事,他们在处理这种大批量数据导入的时候是如何处理的,发现他们也是用的jdbc批量插入处理,但与我不同是:他们使用了con.setAutoCommit(false);然后再preparedStatement.executeBatch()之后,再执行con.commit();于是再试,什么叫奇迹?就是刚刚导入这些数据花了半小时,而加了这两句话之后,现在只用了15秒钟就完成了。于是去查查了原因,在网上发现了如下一段说明:

* When importing data into InnoDB, make sure that MySQL does not have autocommit mode enabled because that

requires a log flush to disk for every insert. To disable autocommit during your import operation, surround it with

SET autocommit and COMMIT statements:

SET autocommit=0;
... SQL import statements ...
COMMIT;

第一次,正是因为没有setAutoCommit(false);那么对于每一条insert语句,都会产生一条log写入磁盘,所以虽然设置了批量插入,但其效果就像单条插入一样,导致插入速度十分缓慢。

部分代码如下:

String sql = "insert into table *****";
con.setAutoCommit(false);
ps = con.prepareStatement(sql);
for(int i=1; i<65536; i++){
ps.addBatch();
// 1w条记录插入一次
if (i % 10000 == 0){
ps.executeBatch();
con.commit();
}
}
// 最后插入不足1w条的数据
ps.executeBatch();
con.commit();

照抄,问题解决
【3】当数据库的记录超过2500条的时候,一次全部读取会造成内存溢出,死机,程序崩溃。
解决方法:多线程分批次读取,每个线程每次只读200条

可能有待于改进的地方:
可以直接利用sql查询出48天之内的数据,而不用后续在Java中比对
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值