1.报错现象
最近在做一个报表的需求,在自测的时候出现了内存不够的情况,具体报错是这样的:
Error querying database. Cause: java.sql.SQLException: [32003,2024050915094719216813017703453960650] : Query exceeded reserved memory limit。
2.原因及解决方案
很明显,数据库内存不够了,说明参加计算的数据量太多,因为使用了很多的sum、group,因此对参数进行了分批计算,按照项目维度等方式进行了拆分,也可以增加很多其他的维度,目的是把数据量控制在一个能够接收的范围内。多线程分别计算,然后把统计数据在内存汇总。
for (String communityCode : communityCodes) {
// 分项目计算
CompletableFuture.supplyAsync(() -> sumOne(), ThreadPool);
// 汇总结果集
totalResult.add(communityResult);
}
CompletableFuture<Void> future = CompletableFuture.allOf(totalResult.toArray(completableFutures));
future.join();
// 汇总结果
result.addAll(Stream.of(completableFutures).map(CompletableFuture::join).flatMap(Collection::stream).collect(Collectors.toList()));
// 后续处理
...