大量数据查询输出的处理方法

我们在开发的项目的时候,一般都会有查询大量数据然后把数据写到某个文件里面(csv或者excel).

在这种处理的时候我们不得不面对一个问题,那就是避免内存不足(OutofMemoryError).

 

硬件方面:

增加物理内存大小.

 

软件方面:

1.设置适当的参数. xms,xmx等等

2.恰当的处理逻辑.

   一个重要的要点就是边从结果集里取行数据,边写入到文件.

   而不是把所有的数据都保存到内存,才写入文件.

 

  即使边取边写,也还有可能出错.那就是取结果集的地方.如果一次把全部数据都放在结果集里面,那肯定容易产生OutofMemoryError错误.

  为了避免取结果集的数据内存不足问题,在处理上做些改变.

  JDBC:设置fecthsize数. 比如1000行,这样就每次只取1000,处理完后再取1000行,如此反复.

  ibatis:同样可以设置fetchsize数. 还有一个方法就是行单位处理. 继承com.ibatis .sqlmap.event.RowHandler后就可以实现行为单位的处理了.