python socket server 链接池_python socketpool：通用连接池

简介

在软件开发中经常要管理各种“连接”资源，通常我们会使用对应的连接池来管理，比如mysql数据库连接可以用sqlalchemy中的池来管理，thrift连接可以通过thriftpool管理，redis-py中的StrictRedis实现本身就是基于连接池的，等等。 而今天介绍的socketpool是一个通用的python连接池库，通过它可以实现任意类型连接的管理，虽然不是很完美，但在一些找不到合适连接池实现、而又不想自己造轮子的时候使用起来会节省很多精力。

内部实现要点

这个类库的代码其实并不是特别的漂亮，但结构设计的不错，关键留下了对拓展开放的钩子，能让使用者根据自己的需要定制自己的连接池

内部主要的组件有ConnectionPool，Connector和backend_mod三个

ConnectionPool实现了一个连接池的通用逻辑，用一个优先级队列管理所有连接，另外支持connection的生命周期定制，有一个reap机制(可选)，基本思想是每个conn有一个最大生命周期，比如600秒，过了这个时间，就必须回收掉，reap线程(也有可能是greenlet或eventlet)定期检查过期的conn并进行回收

Connector是一个接口，它可以看做是一个制造conn的工厂，ConnectionPool在需要新建conn的时候，会通过这个工厂来生成conn。所以我们只要实现Connector的接口方法就可以定制一个自己的连接工厂

backend_mod是为了支持不同的线程模型(比如python原生线程，gevent或者eventlet)抽象出来的后端模块，它统一封装了Socket, PriorityQueue, Semaphore等和并发模型相关的组件，在创造ConnectionPool对象时可以通过参数控制选用哪种backend

部分代码阅读

ConnectionPool的初始化函数

def __init__(self, factory,

retry_max=3, retry_delay=.1,

timeout=-1, max_lifetime=600.,

max_size=10, options=None,

reap_connections=True, reap_delay=1,

backend="thread"):ifisinstance(backend, str):

self.backend_mod=load_backend(backend)

self.backend=backendelse:

self.backend_mod=backend

se