python 从redis取出大量数据分段写入mysql(解决mysql报错OperationalError: (2006, ‘MySQL server has gone away)

出现这种错误一般是因为导入的数据超过单次的默认量，可以
解决办法1：调参数

#查看默认参数值
mysql> show global variables like 'max_allowed_packet';
#修改参数：
mysql> set global max_allowed_packet=1024*1024*400;
mysql> show global variables like 'max_allowed_packet';

解决办法2：分批导入
本例为从redis数据库中根据keys取出values，再将values中的数据分割成多个字段后存入MySQL

# 根据key模糊查询从redis中取出所有匹配的key,假设keys有上万吧，也可以更大
keys = redis_util.get_conn().keys('down:*')
count = len(keys)
page_num = 500
page = count_key / page_num if count_key % page_num == 0 else count_key / page_num + 1
for i in range(0, page):
	# 根据切片后的keys获取redis中的value
	values = redis_util.get_values_batch_keys(keys[i * page_num:(i + 1) * page_num])
	# 这是mysql需要的数据列表
	insert_list = []
	# 处理获取到的每条value
	for row in values:
		params = row
		# 我redis中的value是json格式的，先解析
		row = json.loads(row, encoding='utf-8')
		a_url = row['action']
		# 组装要插入的数据
		insert_list.append((2, a_url, params))
		if len(insert_list) > 0:
			# 往数据库里写
			db_util.executemany_no_commit(insert_sql, insert_list)
			# 写完删除redis中的值
			redis_util.delete_batch(keys[start:end])
			# 提交事务
			db_util.commit()