10.数据库连接池
参考:https://www.cnblogs.com/wangkun122/articles/8992637.html
通过DBUtils实现数据库连接池
安装:
pip install DBUtils==1.2
注意:python3现在回安装最新2.0版本的,from DBUtils.PersistentDB import PersistentDB这样导入时会找不到模块,要安装低版本到1.2版本。
模式一
为每个线程创建一个连接,线程即使调用了close方法,也不会关闭,只是把连接重新放到连接池,供自己线程再次使用。当线程终止时,连接自动关闭 。
from DBUtils.PersistentDB import PersistentDB
import pymysql
POOL = PersistentDB(
creator=pymysql, # 使用链接数据库的模块
maxusage=None, # 一个链接最多被重复使用的次数,None表示无限制
setsession=[], # 开始会话前执行的命令列表。如:["set datestyle to ...", "set time zone ..."]
ping=0,
# ping MySQL服务端,检查是否服务可用。# 如:0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
closeable=False,
# 如果为False时, conn.close() 实际上被忽略,供下次使用,再线程关闭时,才会自动关闭链接。如果为True时, conn.close()则关闭链接,那么再次调用pool.connection时就会报错,因为已经真的关闭了连接(pool.steady_connection()可以获取一个新的链接)
threadlocal=None, # 本线程独享值得对象,用于保存链接对象,如果链接对象被重置
host='127.0.0.1',
port=3306,
user='root',
password='123',
database='pooldb',
charset='utf8'
)
def func():
conn = POOL.connection(shareable=False)
cursor = conn.cursor()
cursor.execute('select * from tb1')
result = cursor.fetchall()
cursor.close() #这里的关闭没有真正的关闭了,线程在使用的话还是使用的那一个链接
conn.close()
func()
模式二
创建一批连接到连接池,供所有线程共享使用。
由于pymysql、MySQLdb等threadsafety值为1,所以该模式连接池中的线程会被所有线程共享。
import pymysqlfrom DBUtils.PooledDB
import PooledDB
PYMYSQL_POOL = PooledDB(
creator=pymysql, # 使用链接数据库的模块
maxconnections=6, # 连接池允许的最大连接数,0和None表示不限制连接数
mincached=2, # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
maxcached=5, # 链接池中最多闲置的链接,0和None不限制
maxshared=3, #这个参数没多大用, 最大可以被大家共享的链接
# 链接池中最多共享的链接数量,0和None表示全部共享。PS: 无用,因为pymysql和MySQLdb等模块的 threadsafety都为1,所有值无论设置为多少,_maxcached永远为0,所以永远是所有链接都共享。
blocking=True, # 连接池中如果没有可用连接后,是否阻塞等待。True,等待;False,不等待然后报错
maxusage=None, # 一个链接最多被重复使用的次数,None表示无限制
setsession=[], # 开始会话前执行的命令列表。如:["set datestyle to ...", "set time zone ..."]
ping=0,
# ping MySQL服务端,检查是否服务可用。# 如:0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
host='127.0.0.1',
port=3306,
user='root',
password='123456',
database='s8day127db',#链接的数据库的名字
charset='utf8'
)
def func():
# 检测当前正在运行连接数的是否小于最大链接数,如果不小于则:等待或报raise TooManyConnections异常
# 否则
# 则优先去初始化时创建的链接中获取链接 SteadyDBConnection。
# 然后将SteadyDBConnection对象封装到PooledDedicatedDBConnection中并返回。
# 如果最开始创建的链接没有链接,则去创建一个SteadyDBConnection对象,再封装到PooledDedicatedDBConnection中并返回。
# 一旦关闭链接后,连接就返回到连接池让后续线程继续使用。
conn = POOL.connection()
# print(th, '链接被拿走了', conn1._con)
# print(th, '池子里目前有', pool._idle_cache, '\r\n')
cursor = conn.cursor()
cursor.execute('select * from tb1')
result = cursor.fetchall()
conn.close() #这里的关闭也没有彻底关闭,而是将线程放回数据库连接池中去了
func()
示例:使用数据库连接池进行登录验证
首先把数据库连接池放进配置文件
settings.py
from datetime import timedelta
from redis import Redis
from DBUtils.PooledDB import PooledDB
import pymysql
class Config():
DEBUG = True
SECRET_KEY = "AKL;FGMASDFAS"
PERMANENT_SESSION_LIFETIME = timedelta(minutes=20)
SESSION_REFRESH_EACH_REQUEST = True # 是否应该为每一个请求设置cookie,默认为True,如果为False则必须显性调用set_cookie函数
SESSION_TYPE = "redis" # 使用redis存储session
PYMYSQL_POOL = PooledDB(
creator=pymysql, # 使用链接数据库的模块
maxconnections=6, # 连接池允许的最大连接数,0和None表示不限制连接数
mincached=2, # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
maxcached=5, # 链接池中最多闲置的链接,0和None不限制
maxshared=3, # 这个参数没多大用, 最大可以被大家共享的链接
blocking=True,
maxusage=None, # 一个链接最多被重复使用的次数,None表示无限制
setsession=[],
ping=0,
host='127.0.0.1',
port=3306,
user='root',
password='123456',
database='flask01', # 链接的数据库的名字
charset='utf8'
)
class ProductionConfig(Config):
SESSION_REDIS = Redis(host="127.0.0.1", port='6379')
class DevelopmentConfig(Config):
SESSION_REDIS = Redis(host="127.0.0.1", port='6379')
class TestConfig(Config):
pass
sql_helper.py
使用数据库连接池
import pymysql
from flask import current_app
class SQLHelper():
@staticmethod
def open():
POOL = current_app.config['PYMYSQL_POOL']
conn = POOL.connection()
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
return conn, cursor
@staticmethod
def close(conn, cursor):
conn.commit()
cursor.close()
conn.close()
@classmethod
def fetch_one(cls, sql, args):
conn, cursor = cls.open()
cursor.execute(sql, args)
obj = cursor.fetchone()
cls.close(conn, cursor)
return obj
@classmethod
def fetch_all(cls, sql, args):
conn, cursor = cls.open()
cursor.execute(sql, args)
obj = cursor.fetchall()
cls.close(conn, cursor)
return obj
account.py
登录验证
from flask import Blueprint, request, render_template, session, redirect
from uuid import uuid4
from ..utils.sql_helper import SQLHelper
ac = Blueprint('ac', __name__)
@ac.route('/login', methods=['GET', 'POST'])
def login():
if request.method == 'GET':
return render_template('login.html')
user = request.form.get('user')
pwd = request.form.get('pwd')
# 数据库中查询数据
obj = SQLHelper.fetch_one("select id,name from users where name=%s and pwd=%s", [user, pwd])
if user == 'admin' and pwd == '123':
uid = str(uuid4())
session.permanent = True
session['user_info'] = {'id':obj['id'], 'name':user}
return redirect('/index')
else:
return render_template('login.html', msg='用户名或密码错误')
@ac.route('/index')
def logout():
return 'welcome'