celery是什么?
Celery是基于Python开发的一个分布式任务队列框架,支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度
celery的使用场景?
- 有延时需要网络IO的,并且不关心返回结果的数据。例如:你想对100台机器执行一条批量命令,可能会花很长时间 ,但你不想让你的程序等着结果返回,而是给你返回 一个任务ID,你过一段时间只需要拿着这个任务id就可以拿到任务执行结果, 在任务执行ing进行时,你可以继续做其它的事情
- 定时任务(django-crontable)
celery的组成以及原理?
主要由三部分组成:broker(消息队列)、workers(消费者:处理任务)、backend(存储结果)
我们只需要将请求所要处理的任务丢入任务队列broker中,由空闲的worker去处理任务即可,处理的结果会暂存在后台数据库backend中。我们可以在一台机器或多台机器上同时起多个worker进程来实现分布式地并行处理任务
celery的使用?
- 确定broker(消息队列)
- 使用django-celery并配置
- delay异步调用
使用rabbitmq和redis作为broker的优劣势分别是什么?
服务 | redis | rabbitmq |
---|---|---|
可靠消费 | 没有相应的机制保证消息的消费,当消费者消费失败的时候,消息体丢失,需要手动处理(list) | 具有消息消费确认,即使消费者消费失败,也会自动使消息体返回原队列,同时可全程持久化,保证消息体被正确消费 |
可靠发布 | 不提供 | 具有发布确认功能,保证消息被发布到服务器 |
高可用 | 可以采用主从模式,读写分离,但是故障转移尚未完善 | 集群采用磁盘、内存节点,任意单点故障都不会影响整个队列的操作 |
持久化 | 需要将整个Redis实例持久化到磁盘 | 队列,消息,都可以选择是否持久化 |
消费者负载均衡 | 不提供 | 根据消费者情况,进行消息的均衡分发 |
队列监控 | 不提供 | 后台可以监控某个队列的所有信息,(内存,磁盘,消费者,生产者,速率等) |
流量控制 | 不提供 | 服务器过载的情况,对生产者速率会进行限制,保证服务可靠性 |
具体使用rabbitmq还是redis还是要根据项目需求来进行判断:
- 对于消耗资源这方面不是很介意的话,注重性能和体验,同时能够分出专员来维护rabbitmq服务器,那么rabbitmq还是强烈推荐的,毕竟rabbitmq能实现的实在是非常的全面而且效果也好。
- 如果在项目中,只需要实现很简单的功能,同时对返回消息、数据处理上面要求不是那么高的话,还是非常推荐使用redis的,毕竟redis使用起来更加的便捷、快速。
总结:
-
rabbitMQ:大而全,更安全,数据处理更快速。
-
redis:使用更方便,开发更快速。