刚才在论坛发现了一个问题,从数据库读取数据,然后生成Excel文件并输出。
按照标准的流程,应该一个方法进行数据的操作,并返回一个结果,比如一个List
然后将这个结果作为参数传递给ExcelExport 的类,让其进行文件的输出操作。这样做从理论上一点问题都没有,但在特殊情况下,确是不行的。比如:
数据量有11W的样子,我进行封装然后放入List中,mian方法中打印看一下,没想到马上就OutOfMemery了,郁闷……不知道这样要怎么优化一下,最好不是改JVM……
我这次要解决的问题是把大概10左右的数据提出来,再转成Excel格式的文件,没想到取数据就发生问题了……
我的答复:
我提供一个方法
在读取数据的时候,立即生成Excel,读取一行,生成一行。
不要用List做中转。
不要拘泥于什么模式,在特殊情况下,就要用特殊的手段。
比如,你的数据有1T,也就是1000G,难道你也要全部读取出来,放到List里面吗?
在许多时候,流方式操作,总是能解决内存占用的问题的。
比如你用Hibernate 进行大结果集的查询,并返回List, 我想危险就很大,比如用JDBC进行 ResultSet的Next 更有效,更安全。