300万数据的导入导出

  进入了一个公司实习，要求自己写一个基于spring boot，用JPA实现的增删改查的小项目，前台用bootstrap，期间叫我们研究一下vue.js。第一次听说这个js框架的时候没有什么概念，只知道老大叫我们看一下，但是那时候都在做功能，没时间看这个东西。接下来要我们基于10完数据的导入导出。10万数据量对于彼时的我也已经是不小的数据了，从来没有操作这么大的数据。当然期间用POI操作Excel。读取文件然后批量存入数据库。然后要求我们事先300万数据的导入导出。这时候就遇到了内存溢出的问题了。想把300万数据都放在list里面堆内存会溢出，显然不可能。当时电脑内存是4个G，我给虚拟机分配了2个G左右的内存，然后每次 取50万条，取完以后设置为null,system.gc()一下，虽然不能保证立马gc,但是有了提醒总比没有好。当时代码审查的时候boss也问我了，为什么每次50万，我说我测试了每次100,50，20万，50万是最快的，被批判了一波，说不能只关注速度，而且测试方法也存在问题什么的。当时我感觉完成任务就好了，而且这种取数据是通过mysql的limit取的，约到后面越慢，取的次数越多越慢，也实在不知道还有什么简便快速的方法。上传数据一种批量插入，还有一种最快的是使用load data infile,非常的快速简单。

  现在看看这个代码，最大的问题是在一些日志的记录上，虽然可能比较快速的完成任务，但是这个代码太脆弱了，我也只测试了好的数据，如果有了一些异常状况可能发生严重错误。最后一条数据的错误可能导致整个操作失败，而牵涉到百万数据的时候时间也是一个比较关键的指标了。现在知道了有spring batch这么一个批处理框架，如果在这个框架基础上重构我的代码，应该能使代码更加健壮。平