python自建通用数据库连接池

使用场景

可以作为python各种orm插件的替代品，同时通用性更好，也更好控制和优化。
如果项目中使用了不同的数据库，例如使用了mysql和mongodb，
使用自建连接池只需要熟悉原生的方法而不需要熟悉各种orm参数和api，在控制方面可以说能做到随心所欲。
随着你能力的提升，还可以对连接池作出各种扩展，扩展出属于自己的orm。

初始化连接池基类

    def __init__(self, **kwargs):
    	'''初始化线程池，默认连接限制为10，不指定则会默认创建10个连接入队列'''
        self.size = kwargs.get("size", 10)  # 连接池大小，默认为10
        self.kwargs = kwargs
        self.conn_queue = queue.Queue(maxsize=self.size)
        for i in range(self.size):
            self.conn_queue.put(self._create_new_conn())

使用pymongo创建连接

这里mongodb地址从配置文件导入，实际项目中可以从环境变量获取

    def _create_new_conn(self):
        """创建新连接"""
        return pymongo.MongoClient(Config.MONGODB_HOST, serverSelectionTimeoutMS=5000, socketTimeoutMS=5000)

从队列中获取mongodb连接

如果队列中无连接，则新建连接

    def _get_conn(self):
        """获取连接"""
        conn = self.conn_queue.get()
        if conn is None:
            self._create_new_conn()
        return conn

关闭连接

    def __close__(self):
        """关闭连接：如果取到的队列中的连接已经为空了，直接pass"""
        try:
            while True:
                conn = self.conn_queue.get_nowait()
                if conn:
                    conn.close()
        # queue.Empty的作用是，如果队列为空，返回True，如果不为空，返回False
        except queue.Empty:
            pass

连接池基类完整代码

import queue, pymongo
from loguru import logger


class DbPool(object):
    """基本连接池"""

    def __init__(self, **kwargs):
        self.size = kwargs.get("size", 10)  # 连接池大小，默认为10
        self.kwargs = kwargs
        self.conn_queue = queue.Queue(maxsize=self.size)
        for i in range(self.size):
            self.conn_queue.put(self._create_new_conn())

    def _create_new_conn(self):
        """创建新连接"""
        return pymongo.MongoClient(Config.MONGODB_HOST, serverSelectionTimeoutMS=5000, socketTimeoutMS=5000)

    def _put_conn(self, conn):
        self.conn_queue.put(conn)

    def _get_conn(self):
        """获取连接"""
        conn = self.conn_queue.get()
        if conn is None:
            self._create_new_conn()