celery介绍

1、概述

1.Celery介绍

Celery是由Python开发、简单、灵活、可靠的分布式任务队列，是一个处理异步任务的框架，其本质是生产者消费者模型，生产者发送任务到消息队列，消费者负责处理任务。Celery侧重于实时操作，但对调度支持也很好，其每天可以处理数以百万计的任务。特点：

• 简单：熟悉celery的工作流程后，配置使用简单

• 高可用：当任务执行失败或执行过程中发生连接中断，celery会自动尝试重新执行任务

• 快速：一个单进程的celery每分钟可处理上百万个任务

• 灵活：几乎celery的各个组件都可以被扩展及自定制

Celery由三部分构成：

• 消息中间件(Broker)：官方提供了很多备选方案，支持RabbitMQ、Redis、Amazon SQS、MongoDB、Memcached 等，官方推荐RabbitMQ

• 任务执行单元(Worker)：任务执行单元，负责从消息队列中取出任务执行，它可以启动一个或者多个，也可以启动在不同的机器节点，这就是其实现分布式的核心

• 结果存储(Backend)：官方提供了诸多的存储方式支持：RabbitMQ、 Redis、Memcached,SQLAlchemy, Django ORM、Apache Cassandra、Elasticsearch等

  架构如下：

        

 

工作原理：

1. 任务模块Task包含异步任务和定时任务。其中，异步任务通常在业务逻辑中被触发并发往消息队列，而定时任务由Celery Beat进程周期性地将任务发往消息队列；

2. 任务执行单元Worker实时监视消息队列获取队列中的任务执行；

3. Woker执行完任务后将结果保存在Backend中;