flask项目celery使用redis sentinel中遇到的坑

最新推荐文章于 2024-08-05 09:59:54 发布

信德维拉5530

最新推荐文章于 2024-08-05 09:59:54 发布

阅读量1.6k

点赞数

分类专栏：其他文章标签： flask python celery sentinel

本文链接：https://blog.csdn.net/sindweller5530/article/details/120037149

版权

其他专栏收录该内容

9 篇文章 1 订阅

订阅专栏

本文介绍了在Flask+Celery项目中遇到的数据库连接池溢出和Redis配置问题。通过添加异常处理和关闭会话解决SQLAlchemyError，调整数据库连接池大小并实现自动释放连接。同时，详细展示了如何正确配置Celery的Redis Sentinel broker和result backend，包括设置密码和初始化redis_client。最后，提供了错误示例及解决方案。

摘要由CSDN通过智能技术生成

flask项目celery中报错Can’t reconnect until invalid transaction is rolled back

发现是celery的程序中有一处db.session.commit()没有处理异常，添加try except InvalidRequestError和db.session.rollback()后修复。之前一直是SQLAlchemyError。

celery中的数据库连接池大小限制与连接未释放

QueuePool limit of size 10 overflow 10 reached, connection timed out
已查询完毕使用的数据库连接未释放。
解决方案：自动释放连接。
参考：https://stackoverflow.com/questions/24956894/sql-alchemy-queuepool-limit-overflow

@app.teardown_appcontext
def shutdown_session(exception=None):
    db.session.remove()

另外再把数据库连接池的大小调大一点。

celery+flask+redis+sentinel带密码如何配置和初始化

一开始直接设置REDIS_URL = "sentinel://:password@localhost:26379/0"报错：

ValueError: Couldn't import 'app.celery': Redis URL must specify one of the following schemes (redis://, rediss://, unix://)

以为是celery，但这实际上是初始化redis-client出现的问题。
将redis_client的初始化从Flask-redis改为redis.sentinel

# redis_client = FlaskRedis(app)
redis_client = Sentinel([('localhost', 26379)], socket_timeout=1, sentinel_kwargs={'password': 'password'})
print(redis_client.discover_master("mymaster"))
# 打印结果示例: 
# ('10.1.1.1', 6379)
# redis使用举例

这样解决了redis，那么之后解决celery的broker和result backend的配置
(mymaster是默认的主集群）

BROKER_URL = "sentinel://:password@localhost:26379/1"
BROKER_TRANSPORT_OPTIONS = {
    'master_name': 'mymaster',
    'socket_timeout': 1,
    'sentinel_kwargs': {'password': 'password'}
}
CELERY_RESULT_BACKEND = "sentinel://:password@localhost:26379/2"
CELERY_RESULT_BACKEND_TRANSPORT_OPTIONS = BROKER_TRANSPORT_OPTIONS