python消息队列celery高可用_celery 使用

celery是一个简单的、灵活的、可靠的分布式系统，提供了工具来维护这样一个系统，用于处理大量的信息(实时信息、定时任务安排)，是一个任务队列，易于使用，易于和其他语言进行配合。

任务队列

任务队列是一种把任务通过线程或机器进行分发的机制，输入是一个工作单元--任务，工作进程则不断地检查任务队列来执行新任务。celery使用消息来通信，流程为：客户端添加消息到队列来初始化一个任务，然后消息队列系统把消息分发给工作进程。celery可以包含多个工作进程和消息系统，来保证高可用性和进行水平扩展。

特性

简单，不需要配置文件，高可靠性(工作进程和客户端在连接丢失或失败时会自动重试，一些支持HA的消息系统可以做主主、主从扩展)，快速(每分钟处理几百万任务，通过使用RabbitMQ librabbitmq 和 一些优化设置)，它的每一部分都可以灵活地扩展(自定义的pool，序列化方式，压缩，日志，周期任务，消费者，生产者)，支持的消息队列系统(redis rabbitmq)，支持的结果存储(django sqlalchemy redis amqp)，并发支持(多进程，eventlet gevent，单线程)，序列化方式(json pickle yaml msgpack)。

自带的监控功能，工作流，资源泄露预防，处理速率、运行时间控制

消息队列

rabbitmq 功能完整、稳定、耐用、易安装，作为生产环境很合适。

redis 也是功能完整的，但是丢失数据的可能性较高，如被停止或停电。</