Pymysql 连接池操作

问题

在用python写后端服务时候，需要与mysql数据库进行一些数据查询或者插入更新等操作。启动服务后接口运行一切正常，
隔了第二天去看服务日志就会报错，问题如下：

pymysql.err.OperationalError: (2006, "MySQL server has gone away (BrokenPipeError(32, 'Broken pipe'))")

MySQL默认的wait_timeout时间28800秒，即8小时，超过8小时，MySQL就会放弃连接。MySQL默认设置的时间是8小时，可以通过运行show variables like ‘%timeout%’;这个SQL即可查看到，时间根据自己业务而定。

因此，当第二天早上前端调用接口时候，mysql连接失败，无法获取数据或者更新数据。

解决办法

• 1.修改MySQL默认的wait_timeout时间，更改为24小时；但治标不治本，长时间占用连接，总会有把mysql连接占满，导致其它的请求连接无法进行；
• 2.使用连接池的方式，自定义执行SQL，只需要在每次操作前，从连接池中连接，操作数据结束后，关闭连接即可。

代码

最终采用连接池的方式避免出现这种问题，写一个操作数据库的工具函数，后续需要处理的时候直接调用即可。

定义连接池

import os
import pymysql
import configparser
from DBUtils.PooledDB import PooledDB


MODULE_REAL_DIR = os.path.dirname(os.path.realpath(__file__))

config = configparser.ConfigParser()
config.read(MODULE_REAL_DIR + '/../conf/config.conf')

host = config.get('MYSQL_FORMAL_DB', 'host')
user = config.get('MYSQL_FORMAL_DB', 'user')
pwd = config.get('MYSQL_FORMAL_DB', 'pwd')
db = config.get('MYSQL_FORMAL_DB', 'db')

POOL = PooledDB(
	creator=pymysql,  # 使用链接数据库的模块
	maxconnections=6,  # 连接池允许的最大连接数，0和None表示不限制连接数
	mincached=2,  # 初始化时，链接池中至少创建的空闲的链接，0表示不创建
	maxcached=5,  # 链接池中最多闲置的链接，0和None不限制
	maxshared=1,  # 链接池中最多共享的链接数量，0和None表示全部共享
	blocking=True,  # 连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错
	maxusage=None,  # 一个链接最多被重复使用的次数，None表示无限制
	setsession=[],  # 开始会话前执行的命令列表。如：["set datestyle to ...", "set time zone ..."]
	ping=0,
	# ping MySQL服务端，检查是否服务可用。
	# 如：0 = None = never,
	# 1 = default = whenever it is requested,
	# 2 = when a cursor is created,
	# 4 = when a query is executed,
	# 7 = always
	host=host,
	port=3306,
	user=user,
	password=pwd,
	database=db,
	charset='utf8'
)

定义基本操作：

from db_utils import POOL
import pymysql


def create_conn():
	conn = POOL.connection()
	# cursor = conn.cursor(pymysql.cursors.DictCursor)
	cursor = conn.cursor()
	return conn, cursor


def close_conn(conn, cursor):
	conn.close()
	cursor.close()


def select_one(sql, args):
	conn, cur = create_conn()
	try:
		cur.execute(sql, args)
		result = cur.fetchone()
		close_conn(conn, cur)
		return result
	except Exception as e:
		print("select one except ", args)
		close_conn(conn, cur)
		return None


def select_all(sql, args):
	conn, cur = create_conn()
	try:
		cur.execute(sql, args)
		result = cur.fetchall()
		close_conn(conn, cur)
		return result
	except Exception as e:
		print("select all except ", args)
		close_conn(conn, cur)
		return None


def insert_one(sql, args):
	conn, cur = create_conn()
	try:
		result = cur.execute(sql, args)
		conn.commit()
		close_conn(conn, cur)
		return True
	except Exception as e:
		print("insert except ", args)
		conn.rollback()
		close_conn(conn, cur)
		return False


def delete_one(sql, args):
	conn, cur = create_conn()
	try:
		result = cur.execute(sql, args)
		conn.commit()
		close_conn(conn, cur)
		return True
	except Exception as e:
		print("delete except ", args)
		conn.rollback()
		close_conn(conn, cur)
		return False

def update_one(sql, args):
	conn, cur = create_conn()
	try:
		result = cur.execute(sql, args)
		conn.commit()
		close_conn(conn, cur)
		return True
	except Exception as e:
		print("update except ", args)
		conn.rollback()
		return False

参考

• https://www.coder.work/article/500786
• https://www.jianshu.com/p/53262bb292e5
• https://blog.51cto.com/lookingdream/2449109
• https://blog.csdn.net/jacke121/article/details/79852146
• https://blog.csdn.net/u010939285/article/details/71088145
• https://www.letianbiji.com/python/python-pymysql.html