最近接了一个系统,交接的别人的工作,但是大概看了下代码发现问题较多,所以做了修改,该系统功能比较简单,只是为了导入数据到数据库,数据来源:excel,十五万数据量。
之前同事用的poi,然后数据dao处理层,采用的for循环,一条一条的insert。虽说我以前没有做过大批量数据导入,但是也感觉这种循环insert方式应该不是很好,耗资源,效率低,经过查找资料,把这个项目来了个大换血。。excel处理采用的poi+sax ,dao层用的批处理模式。 优化后,导入速度较之前有了很大提升,而且excel即使特别大也不用调内存,也不会有内存溢出的错误。
接下来我会贴出详细的代码处理方式。