mybatisplus saveBatch版本问题导致CPU打满生产问题定位

一、生产现象

1、16:57 运维告知Push微服务有一台因为CPU被打满，自动重启，询问原因。

2、17:00 查看异常节点CPU轨迹,16:30开始CPU出现异常飙升

3、17:10 结合生产日志错误，以及定时任务运行情况，得出结论：

产品在16:30新建了一个60w客群的AB分流的任务，

在16:30任务启动，首先从kafka消费拉取大数据客群存储，

kafak消费数据时，将数据批量插入数据库表kafka_data，批量插入异常，同一批数据会再次进行分流，导致死循环，CPU飙升。

Error getting generated key or setting result to parameter object. Cause: org.apache.ibatis.executor.ExecutorException: Too many keys are generated. There are only 4 target objects. You either specified a wrong 'keyProperty' or encountered a driver bug like #1523.

二、紧急修复

日志报错是at com.baomidou.mybatisplus.extension.service.IService.saveBatch(IService.java:58) ~[mybatis-plus-extension-3.2.0.jar!/:3.2.0]

MyBatisplus的saveBatch方法导致，代码紧急修复，弃用saveBatch，手写xml的foreach循环插入。

<insert id="insertABTaskSyncKafkaData" parameterType="java.util.List">         INSERT INTO t_ab_test_sync_kafka_data                 (task_code, user_id, open_id, mobile)                 VALUES         <foreach collection="items" item="item" index="index" separator=",">                 (#{item.taskCode, jdbcType=VARCHAR}, #{item.userId, jdbcType=VARCHAR},                 #{item.openId, jdbcType=VARCHAR}, #{item.mobile, jdbcType=VARCHAR})         </foreach> </insert>​​​​​​​

三、事后分析

1、本地模拟：

①采用两个线程T1,T2，两个线程分别往线程安全队列abTaskList中写数据，数据在t2线程中存储。（模拟生产kafka消费，一个节点监听主题，不同线程往队列中丢数，并且根据队列大小阈值将队列中一批次数据落库）。

②存数据时，设置DTO对象个别数据为null。（模拟生产客群可别属性为null，例如openId，mobile等）。

本地复现了和生产一样的报错，追踪插入库的List，发现一个批次里面，插成功的对象id被赋值了，没插整个的id为null。

mybatisPlus向上抛出插入的list 和 插成功的list的 id数对不上，

Error flushing statements. Cause: org.apache.ibatis.executor.ExecutorException: Error getting generated key or setting result to parameter object. Cause: org.apache.ibatis.executor.ExecutorException: Too many keys are generated.

There are only 27 target objects. You either specified a wrong 'keyProperty' or encountered a driver bug like #1523.

2、MyBatisplus的saveBatch 技术分析：

①底层xml采用了 useGeneratedKeys="true"， 和 ON duplicate KEY UPDATE的底层实现，将DTO存储时，会将id主键重新赋值给DTO对象，如果一个批次里面，有部分主键没有被赋值，则会抛出上面的异常。

②saveBatch方法实际还是一条一条的insert，只是达到阈值1000时，刷一次盘

③跟版本高低有关系，目前Mybatis是3.5.2

3.2.0版本会直接break掉，不会抛异常报错

模拟了几种saveBatch的场景，得出以下结论：

目前报错只存在如下情况同时满足：

1、存在2个以上线程往同一队列丢数

2、对象中有属性为null

3、必须有一个线程既写，又存，然后存的时候会抛异常；如果一个线程里面只有存的动作，也不会出现。

如果用使用MybatisPlus的saveBatch时，如果插入的集合存在多线程共享，同时对象中存在null的属性，最好不要用saveBatch方法，自己手写xml操作批量插入，官方建议一个批次 50~100时插入效率最高。