记一次线上报表导出 OOM_Java head space

最新推荐文章于 2024-05-02 12:45:22 发布

e_shi_yi_p_l

最新推荐文章于 2024-05-02 12:45:22 发布

阅读量985

点赞数 1

分类专栏：功能点

本文链接：https://blog.csdn.net/e_shi_yi_p/article/details/107333250

版权

本文记录了一次线上报表导出导致的Java堆内存溢出问题及其解决方案。面对涉及六张百万级数据表的报表拼接需求，通过引入线程池和Redis异步执行、及时释放内存、使用弱引用以及分页查询存储，成功避免了OOM，使得处理30万数据的报表耗时约30分钟。

摘要由CSDN通过智能技术生成

背景：线上报表导出跑了没1分钟堆内存溢出，emmm
需求分析
1、数据存储在es,都是单表涉及表a,b,c,d,e,f 6张表
2、每张表数据在百万以上，每个表取几个字段拼接成一张大报表
3、6张表之间对应关系，可能 1条a数据几千条b数据

痛点
1、springboot 服务内存 256, new 对象太快太多没有足够的空间挪动回收
在这里插入图片描述
解决：
1、利用线程池+redis 异步执行、

	poolTaskExecutor.execute(new Runnable() {
   
			@Override
			public void run() {
   
				try{
   
					//redis 加锁
					redisCommonService.set(redisKey,CommonConst.IS_NO);
					
					log.info("子线程执行完毕。。。");
				}catch (Exception e){
   
					log.error("生成报表数据异常",e);
				}finally {
   
					//释放锁
					redisCommonService.set(redisKey,CommonConst.IS_YES,600