MySQL server has gone away (BrokenPipeError(32, 'Broken pipe'))[MySQL插入内容超过4M]

MySQL server has gone away (BrokenPipeError(32, 'Broken pipe'))[MySQL插入内容超过4M]

Bug描述:

       用Python的pymysql向MySQL数据库insert插入数据时,遇到报错信息:(2006, "MySQL server has gone away (BrokenPipeError(32, 'Broken pipe'))"),原因是插入的数据超过了4M,超过了MySQL默认的max_allowed_packet(默认值是4M),无法将数据插入到MySQL中.

       这个报错是Redhat上的报错,如果在Windows上报错:Got a packet bigger than 'max_allowed_packet' bytes,与上面的原因一样.(其实直接连接MySQL,插入的数据超过4M也会遇到这个问题)

解决方法: 修改MySQL的max_allowed_packet值

1.通过命令修改

       在终端登录mysql.

      输入命令:show VARIABLES like '%max_allowed_packet%';查看当前的max_allowed_packet值是多少.

      命令:set global max_allowed_packet = 1024*1024*32;设置新的max_allowed_packet值,如:设为32M,1M是1024*1024,自己需要多少M就自己设置.没有特别要求可以尽量设为2的幂,总之够用就行.

>show VARIABLES like '%max_allowed_packet%';
>set global max_allowed_packet = 1024*1024*32;

 2.修改MySQL配置文件

       Linux(Redhat/CentOS/Ubuntu)系统的配置文件是/etc/my.cnf,vim打开my.cnf,然后找到max_allowed_packet,修改成自己需要的值,如修改成32M,如果没有找到max_allowed_packet,则在[mysqld]下面增加一行max_allowed_packet = 32M即可.

max_allowed_packet = 32M

       有些系统的mysql配置是自己设置过的,存放的位置可能不一样,配置文件名也可能不一样,甚至可能[mysql]和[mysqld]的配置写在不同文件中,这种情况需要自己找到[mysqld]所在的配置文件,然后在下面修改或新增.

       Windows系统的MySQL配置文件是在MySQL安装目录下的my.ini(如果找不到,直接打开我的电脑,在搜索框中搜索).

       找到my.ini后用记事本打开,找到max_allowed_packet,将值修改成自己需要的值,如:改成32M.

max_allowed_packet = 32M

       如果找不到max_allowed_packet,先Ctrl + F搜一下,如果还是没有找到,则找到[mysqld],在[mysqld]下面增加一行max_allowed_packet = 32M.

3.一般来说,一条数据超过4M,都是很长的json字符串,如果这个json字符串可以分成多条数据,也可以将数据拆分成多条数据,然后批量插入MySQL中(具体实现方法自己找一下).

可以使用bytes()将字符串转成字节,然后看字符串大小是否超过了1024*1024*4

test_str = '[{"key":"value", "": ""},{"key":"value", "": ""},{"key":"value", "": ""}]'

test_byte = bytes(test_str.encode('utf-8'))
print(len(test_byte))
print(len(test_byte) > 1024*1024*4)