关于大批量数据处理的一些简单想法

1.上个项目有数以百万的记录需要处理，普通的处理方法速度会异常的缓慢，需要用的批量的数据处理方法

2.为了提升查询的速度，起初考虑用MAP将待查询的数据进行提前查询（存储），批量查询的时候可以仅查询一次就可以将所有的记录查询出来，想法很美好，MAP在理论上来说是可以无限大的，但是机器的内存是有限的，所以真正上线的时候会发现，1万条记录之后，程序会不在运行，而且还不报错

3.batch的一些使用细节，在循环中，statement或者preparestatement应将其放出循环以外，否则会造成执行完成后，仅有一条数据被提交；大批量的使用时，还应当每1000条记录提交一次，这样可防止内存的不足，以及减少与数据库的连接次数来达到提升程序效率的目的

4.java heap space内存的溢出，这个原因我也没有很清楚，但是可以肯定，在程序循环中如果有查询的情况存在，应当封装个方法来调用，否则会造成内存溢出的情况

ps:第四种情况，产生的情况只有两种：a.内存确实不足，b.程序代码有问题；对于第一种的修改我觉得是不太靠谱的，数据的记录量是不可控的，而内存加大只能在一定范围内加大，只能是治标不治本。一般代码进行完善可以满足需求