python自建通用数据库连接池
使用场景
可以作为python各种orm插件的替代品,同时通用性更好,也更好控制和优化。
如果项目中使用了不同的数据库,例如使用了mysql和mongodb,
使用自建连接池只需要熟悉原生的方法而不需要熟悉各种orm参数和api,在控制方面可以说能做到随心所欲。
随着你能力的提升,还可以对连接池作出各种扩展,扩展出属于自己的orm。
初始化连接池基类
def __init__(self, **kwargs):
'''初始化线程池,默认连接限制为10,不指定则会默认创建10个连接入队列'''
self.size = kwargs.get("size", 10) # 连接池大小,默认为10
self.kwargs = kwargs
self.conn_queue = queue.Queue(maxsize=self.size)
for i in range(self.size):
self.conn_queue.put(self._create_new_conn())
使用pymongo创建连接
这里mongodb地址从配置文件导入,实际项目中可以从环境变量获取
def _create_new_conn(self):
"""创建新连接"""
return pymongo.MongoClient(Config.MONGODB_HOST, serverSelectionTimeoutMS=5000, socketTimeoutMS=5000)
从队列中获取mongodb连接
如果队列中无连接,则新建连接
def _get_conn(self):
"""获取连接"""
conn = self.conn_queue.get()
if conn is None:
self._create_new_conn()
return conn
关闭连接
def __close__(self):
"""关闭连接:如果取到的队列中的连接已经为空了,直接pass"""
try:
while True:
conn = self.conn_queue.get_nowait()
if conn:
conn.close()
# queue.Empty的作用是,如果队列为空,返回True,如果不为空,返回False
except queue.Empty:
pass
连接池基类完整代码
import queue, pymongo
from loguru import logger
class DbPool(object):
"""基本连接池"""
def __init__(self, **kwargs):
self.size = kwargs.get("size", 10) # 连接池大小,默认为10
self.kwargs = kwargs
self.conn_queue = queue.Queue(maxsize=self.size)
for i in range(self.size):
self.conn_queue.put(self._create_new_conn())
def _create_new_conn(self):
"""创建新连接"""
return pymongo.MongoClient(Config.MONGODB_HOST, serverSelectionTimeoutMS=5000, socketTimeoutMS=5000)
def _put_conn(self, conn):
self.conn_queue.put(conn)
def _get_conn(self):
"""获取连接"""
conn = self.conn_queue.get()
if conn is None:
self._create_new_conn()
return conn
def __close__(self):
"""关闭连接:如果取到的队列中的连接已经为空了,直接pass"""
try:
while True:
conn = self.conn_queue.get_nowait()
if conn: