问题
最近工作中遇到一个问题,系统出现大量异常,看日志输出为
Cause: com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large (129,341,051 > 67,108,864). You can change this value on the server by setting the 'max_allowed_packet' variable.;
Packet for query is too large (129,341,051 > 67,108,864). You can change this value on the server by setting the 'max_allowed_packet' variable.; nested exception is com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large (129,341,051 > 67,108,864).
原因
查阅后发现问题是由于max_allowed_packet参数引起的,该参数是指mysql服务器端和客户端在一次传送数据包的过程当中最大允许的数据包大小。一次插入的数据超过了max_allowed_packet,则会数据库保存失败,报出异常。我这里是一次批量插入多条数据,数据条数目测有个几千条,数据大小超过了阈值,我这里的阈值是67,108,864字节,64M。
解决方案
网上解决方案是修改max_allowed_packet的值,调大这个值,临时修改或者永久修改都可以。我这里就不修改值了,而是把多条数据改成分批插入。比如之前一次插入5000条数据,我这里改成一次插入500条,分10次插入就ok了。
Lists.partition(list, 500).forEach(subList -> {
mapper.batchInsert(subList);
});