问题
当我们在Python中连接Mysql时,每次增、删、改、查如果都申请一个数据库连接的话,当应用程序对mysql数据库请求量大时候,运行Python的机器就会大量报time wait(我碰到的是40000+) 。这是因为每次连接mysql数据库请求时,都是独立的去请求访问(看到开发者的代码后得出结论),相当浪费资源,访问数量达到一定量时 ,运行程序的机器就报警了。
解决办法:
访问数据库应该使用连接池,来达到复用数据库连接的目的
python数据库连接池使用方法:
a、安装 DBUtils(这里是DBUtils-1.3.tar.gz包)
b、tar -zxvf DBUtils-1.3.tar.gz
c、cd DBUtils-1.3
d、 python setup.py install (安装)
代码示例:
import pymysql
from DBUtils.PooledDB import PooledDB
'''
PooledDB() 参数含义
creator:使用链接数据库的模块
maxconnections:连接池允许的最大连接数,0和None表示没有限制
mincached:初始化时,连接池至少创建的空闲的连接,0表示不创建
maxcached:连接池空闲的最多连接数,0和None表示没有限制
maxshared:连接池中最多共享的连接数量,0和None表示全部共享,ps:其实并没有什么用,因为pymsql和MySQLDB等模块中的threadsafety都为1,所有值无论设置多少,_maxcahed永远为0,所以永远是所有链接共享
blocking:链接池中如果没有可用共享连接后,是否阻塞等待,True表示等待,False表示不等待然后报错
setsession:开始会话前执行的命令列表
ping:ping Mysql 服务端,检查服务是否可用
'''
global_pool = PooledDB(
creator=pymysql,
maxconnections=500,
mincached=0,
maxcached=20,
maxshared=0,
blocking=True,
setsession=[],
ping=5,
host=global_db_addr,
port=3306,
user='xxxx',
password='xxxxxx',
database='xxxxx',
charset='utf8mb4')
# 以后每次需要数据库连接用 connection() 函数获取连接即可
conn = global_pool.connection()
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = conn.cursor()
#sql = 'INSERT INTO ' + tbl_name + ' (`time_key`,`code`,`direct`) VALUES (%s, %s, %s);'
#params = (dic_data["time_key"], dic_data["code"], dic_data["direct"])
tbl_name = 'stock_cur_kline_sh'
stock_code = 'SH.600161'
time_key = '2020-02-28 00:00:00'
sql = "SELECT Close FROM " + tbl_name + " where code = '" + stock_code + "' and time_key = '" + time_key + "';"
try:
# 执行SQL语句
cursor.execute(sql)
# 获取所有记录列表
results = cursor.fetchall()
for row in results:
close = row[0]
# 打印结果
print("close=%f" %(close))
except Exception as e:
print("插入数据库异常, msg=%s" % (e))
logging.error(traceback.format_exc())
finally:
print("插入数据库成功")
cursor.close()
conn.close()