记一次批量插入导致cpu占用过高问题

一、业务场景

报表系统，获取公司各个地区的业务单子结算数据，计算分配佣金和业绩，并生成excel表格，共三个excel,两个excel中有十个sheet，一个有四个sheet，包括所有明细数据及分类汇总数据，明细数据量大概十几万。

二、主要代码逻辑

1、使用mybatis分批次查询并计算数据；

2、开启多线程使用mybatis的foreach组合多条数据批量插入；

3、等待所有数据插入后，再次开启多线程从插入的表中查询出分类数据生成excel表格；

三、cpu、内存占用分析

如下图，cpu在11:22时陡然接近100%，内存占用也飙升了一倍，后续电脑卡死，程序无法运行下去，通过查看日志，发现这个时间点在大量数据在插入，接近4万多，想着数据量并不太大，而且数据插入时占用的是IO资源，cpu怎么会这么高？

 由此一步步想到：既然是cpu占用过高，一定是插入数据时代码有问题，为了最快插入数据，我用了5个线程处理，为减少提交次数，每次是用mybatis将5000条数据拼接成一条sql插入，代码如下图：

问题可能就在于这个batchInsert语句，搜索了下mybatis的这种插入方式，果然如此，分析详见（https://blog.csdn.net/huanghanqian/article/details/83177178）

四、解决方式

问题终于确认是foreach拼接了过长数据，5000条数据，每条数据大概100个字段，导致解析sql很慢，占用内存和cpu，

由此我将拼接条数改为100，之后跑起来cpu占用始终在50%以下，问题终于解决。