分布式任务队列 Celery — 实践

范桂飓

已于 2022-02-05 15:34:03 修改

阅读量7.6k

点赞数 4

分类专栏：架构师之路专栏文章标签：架构师

于 2018-01-05 13:59:08 首次发布

本文链接：https://blog.csdn.net/jmilk/article/details/78945622

版权

架构师之路专栏专栏收录该内容

97 篇文章 24 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了在使用 Celery 分布式任务队列时的一系列实践策略，包括避免使用数据库作为 Broker，减少对任务结果的关注，实现任务优先级，动态扩展 Worker 并发池，应用任务预取数，保持任务幂等性，设置任务超时限制，善用任务工作流，合理使用 ack_late 机制，传递 ORM 对象唯一标识，预防内存泄漏，以及合理安排定时任务调度和启用任务监控。这些策略旨在提升系统性能和任务处理效率。

摘要由CSDN通过智能技术生成

Broker 的选择大致有消息队列和数据库两种，**这里建议尽量避免使用数据库作为 Broker，除非你的业务系统足够简单。**在并发量很高的复杂系统中，大量 Workers 访问数据库的行为会使得操作系统磁盘 I/O 一直处于高峰值状态，非常影响系统性能。如果数据库 Broker 同时还兼顾着后端业务的话，那么应用程序也很容易被拖垮。

反观选择消息队列，例如 RabbitMQ，就不存在以上的问题。首先 RabbitMQ 的队列存放到内存中，速度快且不占用磁盘 I/O。再一个就是 RabbitMQ 会主动将任务推送给 Worker，所以 Worker 无需频繁的去轮询队列，避免无谓的资源浪费。