一场Celery不支持Redis集群引发的血案子

本文描述了在使用Celery和Django时遇到的不支持Redis集群的问题,以及如何通过切换到ASGI服务和使用apscheduler来解决异步任务和定时任务的执行。文中还介绍了如何配置gunicorn以支持ASGI,并提到了使用django-cluster-redis库来应对Redis集群的缓存需求。
摘要由CSDN通过智能技术生成

问题描述:

产品使用Python3 + Django2 + gunicorn提供web服务,后台使用celery提供异步和定时任务,由于产品本身依赖了redis,为了让服务显得不那么臃肿,所以直接选择了redis作为celery的broker

但是在客户侧部署的时候突然被告知只能提供redis的cluster模式,不支持自己搭,且不支持rabbitmq,所以只能曲线救国

提示:官方的ISSUES明确说明不支持,虽然说在规划中,但是看上去遥遥无期

解决方案:

重新说明一下celery在产品中的作用:

  1. 异步任务(邮件通知、耗时计算)
  2. 定时任务(信息同步、计算)

替代方案:

  1. 异步任务:ASGI + Django3
  2. 定时任务:apscheduler

先说异步任务

由于之前产品设计websocket就切换到了asgi(利用channel),所以在切换的时候免去了一部分的弯路

首先要做的事情有两个:

安装:Django3(顺带djangorestframework等也可以升级一波,正常使用就行)、asg

Celery是一个Python分布式任务队列框架,而Redis是一个高性能的键值存储数据库。当它们结合在一起时,可以构建一个强大的分布式任务队列系统。 CeleryRedis集群的结合可以提供以下功能: 1. 异步任务处理:Celery可以将任务异步地发送到Redis集群中,然后由工作节点处理。这样可以避免任务阻塞主线程,提高系统的响应速度。 2. 分布式任务调度:Redis集群可以作为Celery的消息代理,负责存储和传递任务消息。多个Celery工作节点可以从Redis集群中获取任务,并进行并行处理。 3. 任务结果存储:Celery可以将任务的执行结果存储在Redis集群中,以便后续查询和使用。 4. 任务队列监控:Redis集群可以提供监控和管理Celery任务队列的功能,例如查看队列长度、清理过期任务等。 为了搭建CeleryRedis集群,你需要进行以下步骤: 1. 安装和配置Redis集群:根据你的需求,可以选择使用Redis Sentinel或Redis Cluster来搭建Redis集群。配置好集群后,确保所有节点都正常运行。 2. 安装和配置Celery:使用pip安装Celery库,并在Celery配置文件中指定Redis集群的连接信息。 3. 编写任务代码:定义你的任务函数,并使用Celery的装饰器将其注册为Celery任务。 4. 启动Celery工作节点:在每个工作节点上启动Celery的工作进程,它们将从Redis集群中获取任务并执行。 5. 发布和调度任务:在你的应用程序中,使用Celery的API将任务发布到Redis集群中,并设置任务的调度规则。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值