目录
一、简介
- 什么是任务队列？
任务队列用作在线程或计算机之间分配工作的机制。
任务队列的输入是称为任务的工作单元。专用的工作进程会不断监视任务队列以执行新工作。
Celery通过消息进行通信，通常使用代理在clients和worker之间进行调解。为了启动任务，客户端将消息添加到队列中，然后代理将消息传递给工作人员。
celery系统可以由多个 workers 和 brokers组成，让位于高可用性和水平扩展。
Celery用Python编写，但是该协议可以用任何语言实现。除了Python，还有Node.js 的node-celery和node-celery-ts，以及一个PHP客户端。
语言互操作性也可以通过公开HTTP终结点并具有请求该终结点的任务来实现（Webhooks）。
Celery由以下三部分构成：消息中间件(Broker)、任务执行单元Worker、结果存储(Backend)，如下图
celery集群的运作流程：
从上图可见，相关的celery的编程模型中，划分为三个部分，分别是：
1，Producer（celery client）： 负责生产相关的task，并发送到一个broker中。
2，broker： 作为一个task的路由器，将task分发到不同的接收者。这里broker实现对rabbitmq的封装，屏蔽了rabbitmq复杂的调用细节。
3，Consumer（celery worker）：接收到task以后，负责根据task的信息结构，执行相关的功能。
简单说，可以有多个"消息队列"（message Queue），不同的消息可以指定发送给不同的Message Queue，而这是通过Exchange来实现的，发送消息到"消息队列"中时，可以指定routiing_key，Exchange通过routing_key来把消息路由（routes）到不同的"消息队列"中去。Exchange 对应一个消息队列(queue)，即：通过"消息路由"的机制使Exchange对应queue，每个queue对应每个worker。
注：任务队列与消息队列都是由队列实现的异步协议，只是消息队列(Message Queue) 用来做异步通信，而任务队列(Task Queue) 更强调异步执行的任务。实际上发送消息也是一个任务，也就是说任务队列是在消息队列之上的管理工作，任务队列的很多典型应用就是发送消息，如发送邮件，发送短信，发送消息推送等。
celery 和 redis 之间交互的基本原理
1、当发起一个 task 时，会向 redis 的 celery key 中插入一条记录。
2、如果这时有正在待命的空闲 worker，这个 task 会立即被 worker 领取。
3、如果这时没有空闲的 worker，这个 task 的记录会保留在 celery key 中。
4、这时会将这个 task 的记录从 key celery 中移除，并添加相关信息到 unacked 和 unacked_index 中。
5、worker 根据 task 设定的期望执行时间执行任务，如果接到的不是延时任务或者已经超过了期望时间，则立刻执行。
6、worker 开始执行任务时，通知 redis。（如果设置了 CELERY_ACKS_LATE = True 那么会在任务执行结束时再通知）
7、redis 接到通知后，将 unacked 和 unacked_index 中相关记录移除。
8、如果在接到通知前，worker 中断了，这时 redis 中的 unacked 和 unacked_index 记录会重新回到 celery key 中。(这个回写的操作是由 worker 在 “临死” 前自己完成的，所以在关闭 worker 时为防止任务丢失，请务必使用正确的方法停止它，如: celery multi stop w1 -A proj1)
9、在 celery key 中的 task 可以再次重复上述 2 以下的流程。
10、celery 只是利用 redis 的 list 类型，当作个简单的 Queue，并没有使用消息订阅等功能
celery主要应用场景：
二、celery集群部署
1.1、server节点
1.1.1、安装celery
如果使用 Redis 作为中间人（Broker）必须要安装 Celery 的依赖库，您可以通过 celery[redis] 进行安装：
pip3 install -U "celery[redis]"
备注使用该命令会把下面功能全部安装:Successfully installed amqp-2.5.2 billiard-3.6.3.0 celery-4.4.2 importlib-metadata-1.6.0 kombu-4.6.8 pytz-2020.1 redis-3.5.1 vine-1.3.0 zipp-3.1.0
其他种方式
pip3 install celery
配置了解：链接.
1.1.2、选择中间人（Broker）
决定使用哪个作为Broker？ 这里使用redis
Celery 支持多种消息传输的方式。
Celery 需要一个中间件来进行接收和发送消息，通常以独立的服务形式出现，成为 消息中间人（Broker）
以下有几种选择：
-
RabbitMQ
RabbitMQ 的功能比较齐全、稳定、便于安装。在生产环境来说是首选的，有关 Celery 中使用 RabbitMQ 的详细信息： -
Redis
Redis 功能比较全，但是如果突然停止运行或断电会造成数据丢失
1.1.2.1、如果选择使用redis，请安装配置
安装redis-server
sudo apt-get install redis-server
配置redis允许远程连接
- 配置redis.conf
1、将 bind 127.0.0.1 使用#注释掉
2、将 protected-mode yes 改为 protected-mode no（3.2之后加入的新特性，目的是禁止公网访问redis cache，增强redis的安全性）
3、将 requirepass foobared 注释去掉，foobared为密码，也可修改为别的值（可选，建议设置） - 设置iptables规则，允许外部访问6379端口
iptables -I INPUT 1 -p tcp -m state --state NEW -m tcp --dport 6379 -j ACCEPT
解决问题：连接Redis服务出现DENIED Redis is running in protected mode because protected mode is enabled
protected-mode yes 改为no
在执行任务之前需要启动redis，使用这个命令
src/redis-server --protected-mode no
扩展（了解）：
在 Docker 中运行 Redis ，可以通过以下命令实现（不用这种方式的可以不关注）：
$ docker run -d -p 6379:6379 redis
1.1.2.2、如果选择使用RabbitMQ，请安装配置
使用RabbitMQ
如果您使用的是 Ubuntu 或 Debian ，可以通过以下命令进行安装 RabbitMQ：
$ sudo apt-get install rabbitmq-server
pip install "celery[librabbitmq,redis,auth,msgpack]"
如果在 Docker 中运行 RabbitMQ ，可以使用以下命令：
$ docker run -d -p 5462:5462 rabbitmq
命令执行完毕之后，中间人（Broker）会在后台继续运行，准备输出一条 Starting rabbitmq-server: SUCCESS 的消息。
如果您没有 Ubuntu 或 Debian ，你可以访问官方网站查看其他操作系统（如：Windows）的安装方式：
http://www.rabbitmq.com/download.html
1.1.3、拷贝项目代码到机子上
简单的项目demo
[root@localhost base_demo]# cat tasks.py
from celery import Celery
app = Celery('tasks', broker='redis://192.168.2.220:6379/0')
@app.task
def add(x, y):
return x + y
[root@localhost base_demo]# cat test.py
from tasks import add
add.delay(4, 4)
1.1.4、启动worker
执行下面的命令启动worker，执行任务（下面的两个命令都可以用）
celery是以app来管理任务的
//tasks:是要管理的app名 ，即项目名
celery -A tasks worker -l info
各个参数含义：
worker: 代表第启动的角色是work当然还有beat等其他角色；
-A ：项目路径，这里我的目录是project
-l：启动的日志级别，更多参数使用celery --help查看
1.2、worker节点
1.2.1、安装celery
pip3 install celery
1.2.2、拷贝项目代码到机子上
简单的项目demo（这里的redis ip一般默认是127.0.0.1 ，如果自己配置了用自己配置的redis ip，我这里是在 1.1.2.2章节配置设置的是server机子的ip地址）
[root@localhost base_demo]# cat tasks.py
from celery import Celery
app = Celery('tasks', broker='redis://192.168.2.220:6379/0')
@app.task
def add(x, y):
return x + y
[root@localhost base_demo]# cat test.py
from tasks import add
add.delay(4, 4)
1.2.3、启动worker
celery worker -A tasks -l info
三、celery参数
celery.bin.worker
用于启动芹菜工作实例的程序。
芹菜工人命令(以前称为celeryd)
-c, --concurrency
处理队列的子进程的数目。默认值是系统上可用的cpu数量。
-P, --pool
池实现:
prefork(默认)、eventlet、gevent、threads或solo。
-n, --hostname
设置自定义主机名(例如，' w1@%%h ')。扩展:%%h(主机名)、%%n(名称)和%%d(域)。
-B, --beat
还可以运行芹菜打周期任务调度程序。请注意，此服务只能有一个实例。
请注意
-B用于开发目的。对于生产环境，您需要分别启动芹菜打。
-Q, --queues
为这个worker启用的队列列表，以逗号分隔。默认情况下，所有配置的队列都是启用的。例如:q视频,形象
- x, exclude-queues
要为此工作程序禁用的队列列表，用逗号分隔。默认情况下，所有配置的队列都是启用的。例子:- x视频,形象。
-I, --include
用逗号分隔要导入的其他模块列表。例子:我foo.tasks bar.tasks
-s, --schedule
如果使用-B选项运行，则指向调度数据库的路径。默认为celerybeat-schedule。扩展”。可以将db "附加到文件名中。
- o
应用优化概要文件。支持:默认情况下,公平
--prefetch-multiplier
为这个工作者实例设置自定义预取乘数值。
--scheduler
要使用的调度程序类。默认是celery.beat.PersistentScheduler
-S, --statedb
到状态数据库的路径。扩展”。可以将db '附加到文件名中。默认值:{默认}
-E, --task-events
发送可以被监视器捕获的与任务相关的事件，如芹菜事件、celerymon和其他事件。
--without-gossip
不要订阅其他员工活动。
--without-mingle
在刚开始的时候不要和其他员工同步。
--without-heartbeat
不要发送事件心跳。
--heartbeat-interval
发送工作者心跳的间隔(秒)
--purge
在启动守护进程之前清除所有等待的任务。警告:这是不可恢复的，任务将从消息传递服务器中删除。
--time-limit
为任务启用硬时间限制(以秒为单位的int/float)。
--soft-time-limit
为任务启用软时间限制(以秒为单位int/float)。
--max-tasks-per-child
池工作程序在终止并被新工作程序替换之前可以执行的最大任务数。
--max-memory-per-child
在KiB中，子进程在被新进程替换之前可能消耗的最大驻留内存量。如果单个任务导致子进程超过此限制，则该任务将被完成，然后子进程将被替换。默认值:没有限制。
--autoscale
通过提供max_concurrency、min_concurrency启用自动调焦。例子:
--autoscale=10,3
(始终保持3个进程，但如果需要，可以增加到10个)
--detach
启动worker作为后台进程。
-f, --logfile
日志文件的路径。如果没有指定日志文件，则使用stderr。
-l, --loglevel
日志级别，在调试、信息、警告、错误、关键或致命之间进行选择。
--pidfile
可选文件，用于存储进程pid。
如果这个文件已经存在并且pid仍然是活动的，程序将不会启动。
--uid
用户id，或用户的用户名，以在分离后运行。
--gid
组id，或主组的组名，在分离后更改为。
--umask
分离后工艺的有效umask(1)(八进制)。默认情况下继承父进程的umask(1)。
--workdir
可选目录切换到分离后。
--executable
可执行文件，用于分离的进程。
参考官方文档：
1、Celery 4.4.2文档
扫一扫
6254
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
