Celery的安装和简单使用（Redis作为消息中间件）

bitcsljl

已于 2022-09-21 17:31:22 修改

阅读量1.6k

点赞数 1

分类专栏： python 文章标签： redis python 中间件

于 2022-09-21 17:22:39 首次发布

本文链接：https://blog.csdn.net/bitcsljl/article/details/126975483

版权

python 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

参考链接

[1]Celery文档-入门：http://docs.jinkan.org/docs/celery/getting-started/index.html
[2]知乎专栏-使用Celery:https://zhuanlan.zhihu.com/p/22304455

Celery简介

Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统，并且提供维护这样一个系统的必需工具。它专注于实时处理的任务队列，同时也支持任务调度。
Celery 需要一个发送和接受消息的传输者。RabbitMQ 和 Redis 中间人的消息传输支持所有特性，但也提供大量其他实验性方案的支持，包括用 SQLite 进行本地开发。
Celery 系统可包含多个职程和中间人，以此获得高可用性和横向扩展能力。
Celery 可以单机运行，也可以在多台机器上运行，甚至可以跨越数据中心运行。
Celery 是用 Python 编写的，但协议可以用任何语言实现。迄今，已有 Ruby 实现的 RCelery 、node.js 实现的 node-celery 以及一个 PHP 客户端，语言互通也可以通过 using webhooks 实现。

Celery架构

Celery的架构图如图所示：

Celery包含如下组件：

Celery Beat：任务调度器，Beat进程会读取配置文件的内容，周期性地将配置中到期需要执行的任务发送给任务队列。
Celery Worker：执行任务的消费者，通常会在多台服务器运行多个消费者来提高执行效率。
Broker：消息代理，或者叫作消息中间件，接受任务生产者发送过来的任务消息，存进队列再按序分发给任务消费方（通常是消息队列或者数据库）。
Producer：调用了Celery提供的API、函数或者装饰器而产生任务并交给任务队列处理的都是任务生产者。
Result Backend：任务处理完后保存状态信息和结果，以供查询。Celery默认已支持Redis、RabbitMQ、MongoDB、Django ORM、SQLAlchemy等方式。

安装Celery

直接安装

可以从 Python Package Index（PyPI）或源码安装 Celery。
用 pip 安装:

pip install -U Celery

用 easy_install 安装:

easy_install -U Celery

捆绑安装

Celery 也定义了一组用于安装 Celery 和给定特性依赖的捆绑。可以在 requirements.txt 中指定或在 pip 命令中使用方括号。多个捆绑用逗号分隔。

pip install celery[librabbitmq]
pip install celery[librabbitmq,redis,auth,msgpack]

以下是可用的捆绑：

序列化
celery[auth]: 使用 auth 序列化。
celery[msgpack]: 使用 msgpack 序列化。
celery[yaml]: 使用 yaml 序列化。
并发
celery[eventlet]: 使用 eventlet 池。
celery[gevent]: 使用 gevent 池。
celery[threads]: 使用线程池。
传输和后端
celery[librabbitmq]: 使用 librabbitmq 的 C 库.
celery[redis]: 使用 Redis 作为消息传输方式或结果后端。
celery[mongodb]: 使用 MongoDB 作为消息传输方式（实验性），或是结果后端（已支持）。
celery[sqs]: 使用 Amazon SQS 作为消息传输方式（实验性）。
celery[memcache]: 使用 memcache 作为结果后端。
celery[cassandra]: 使用 Apache Cassandra 作为结果后端。
celery[couchdb]: 使用 CouchDB 作为消息传输方式（实验性）。
celery[couchbase]: 使用 CouchBase 作为结果后端。
celery[beanstalk]: 使用 Beanstalk 作为消息传输方式（实验性）。
celery[zookeeper]: 使用 Zookeeper 作为消息传输方式。
celery[zeromq]: 使用 ZeroMQ 作为消息传输方式（实验性）。
celery[sqlalchemy]: 使用 SQLAlchemy 作为消息传输方式（实验性），或作为结果后端（已支持）。
celery[pyro]: 使用 Pyro4 消息传输方式（实验性）。
celery[slmq]: 使用 SoftLayer Message Queue 传输（实验性）。

实际安装

使用Redis作为消息中间件，需要安装Redis，并捆绑安装Celery及其Redis依赖：

#安装Celery及其Redis依赖
pip install celery[redis]

简单测试

创建文件夹celery_test

mkdir -p celery_test

创建任务

cd celery_test/
vim tasks.py

tasks.py：

import time
from celery import Celery

app = Celery('tasks', broker='redis://localhost:6379/2')

@app.task
def add(x, y):
    time.sleep(1)
    return x + y

Celery()的第一个参数是当前模块的名称，这个参数是必须的，这样的话名称可以自动生成。第二个参数是中间人关键字参数，指定你所使用的消息中间人的 URL。这里的URL是redis://localhost:6379/2，表示使用本地Redis的db2数据库。
add()定义了任务：先休眠1秒然后计算和并返回。

启动worker

celery -A tasks worker --loglevel=info

使用命令 celery worker --help 可以看到启动worker的更多方式：

# celery worker --help
Usage: celery worker [OPTIONS]

  Start worker instance.

  Examples -------- $ celery --app=proj worker -l INFO $ celery -A proj worker
  -l INFO -Q hipri,lopri $ celery -A proj worker --concurrency=4 $ celery -A
  proj worker --concurrency=1000 -P eventlet $ celery worker --autoscale=10,0

Worker Options:
  -n, --hostname HOSTNAME         Set custom hostname (e.g., 'w1@%%h').
                                  Expands: %%h (hostname), %%n (name) and %%d,
                                  (domain).
  -D, --detach                    Start worker as a background process.
  -S, --statedb PATH              Path to the state database. The extension
                                  '.db' may be appended to the filename.
  -l, --loglevel [DEBUG|INFO|WARNING|ERROR|CRITICAL|FATAL]
                                  Logging level.
  -O [default|fair]               Apply optimization profile.
  --prefetch-multiplier <prefetch multiplier>
                                  Set custom prefetch multiplier value for
                                  this worker instance.

Pool Options:
  -c, --concurrency <concurrency>
                                  Number of child processes processing the
                                  queue.  The default is the number of CPUs
                                  available on your system.
  -P, --pool [prefork|eventlet|gevent|solo|processes|threads]
                                  Pool implementation.
  -E, --task-events, --events     Send task-related events that can be
                                  captured by monitors like celery events,
                                  celerymon, and others.
  --time-limit FLOAT              Enables a hard time limit (in seconds
                                  int/float) for tasks.
  --soft-time-limit FLOAT         Enables a soft time limit (in seconds
                                  int/float) for tasks.
  --max-tasks-per-child INTEGER   Maximum number of tasks a pool worker can
                                  execute before it's terminated and replaced
                                  by a new worker.
  --max-memory-per-child INTEGER  Maximum amount of resident memory, in KiB,
                                  that may be consumed by a child process
                                  before it will be replaced by a new one.  If
                                  a single task causes a child process to
                                  exceed this limit, the task will be
                                  completed and the child process will be
                                  replaced afterwards. Default: no limit.

Queue Options:
  --purge, --discard
  -Q, --queues COMMA SEPARATED LIST
  -X, --exclude-queues COMMA SEPARATED LIST
  -I, --include COMMA SEPARATED LIST

Features:
  --without-gossip
  --without-mingle
  --without-heartbeat
  --heartbeat-interval INTEGER
  --autoscale <MIN WORKERS>, <MAX WORKERS>

Embedded Beat Options:
  -B, --beat
  -s, --schedule-filename, --schedule TEXT
  --scheduler TEXT

Daemonization Options:
  -f, --logfile TEXT
  --pidfile TEXT
  --uid TEXT
  --uid TEXT
  --gid TEXT
  --umask TEXT
  --executable TEXT

Options:
  --help  Show this message and exit.

worker的启动日志：

/usr/local/lib/python3.8/dist-packages/celery/platforms.py:840: SecurityWarning: You're running the worker with superuser privileges: this is
absolutely not recommended!

Please specify a different user using the --uid option.

User information: uid=0 euid=0 gid=0 egid=0

  warnings.warn(SecurityWarning(ROOT_DISCOURAGED.format(

 -------------- celery@hecs-407155 v5.2.7 (dawn-chorus)
--- ***** -----
-- ******* ---- Linux-5.4.0-100-generic-x86_64-with-glibc2.29 2022-09-21 17:02:43
- *** --- * ---
- ** ---------- [config]
- ** ---------- .> app:         tasks:0x7f9d5fe61490
- ** ---------- .> transport:   redis://localhost:6379/2
- ** ---------- .> results:     disabled://
- *** --- * --- .> concurrency: 2 (prefork)
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** -----
 -------------- [queues]
                .> celery           exchange=celery(direct) key=celery


[tasks]
  . tasks.add

[2022-09-21 17:02:43,196: INFO/MainProcess] Connected to redis://localhost:6379/2
[2022-09-21 17:02:43,198: INFO/MainProcess] mingle: searching for neighbors
[2022-09-21 17:02:44,204: INFO/MainProcess] mingle: all alone
[2022-09-21 17:02:44,213: INFO/MainProcess] celery@hecs-407155 ready.

从日志可以看到，worker进程连接到了redis://localhost:6379/2。

查看启动的worker：

# ps -ef | grep celery | grep -v grep
root     1114359 1114358  1 17:02 pts/0    00:00:00 /usr/bin/python3 /usr/local/bin/celery -A tasks worker --loglevel=info
root     1114361 1114359  0 17:02 pts/0    00:00:00 /usr/bin/python3 /usr/local/bin/celery -A tasks worker --loglevel=info
root     1114362 1114359  0 17:02 pts/0    00:00:00 /usr/bin/python3 /usr/local/bin/celery -A tasks worker --loglevel=info
root@hecs-407155:/home/ljl/celery/celery_test#

可以看到，启动了3个worker子进程来处理队列，默认情况下，使用系统CPU数量作为worker子进程的总数。

同时，Redis的db2数据库中新增了3条记录：
在这里插入图片描述
4. 启动生产者

vim producer.py

producer.py：

#!/usr/bin/python3

from tasks import add

add.delay(1,1)
add.delay(1,2)
add.delay(1,3)
add.delay(1,4)

生产者使用add.delay()向任务队列发送4个求和任务。
执行producer.py：

chmod u+x producer.py && ./producer.py

worker的执行日志：

[2022-09-21 16:02:37,670: INFO/MainProcess] Task tasks.add[89e1bc55-f0a3-4036-8b6f-478de1dfa9c9] received
[2022-09-21 16:02:37,672: INFO/MainProcess] Task tasks.add[bfe6a165-339c-4dd4-bf9b-e69d91acbf9d] received
[2022-09-21 16:02:37,673: INFO/MainProcess] Task tasks.add[e2b682b8-0f7f-4f18-8459-682d2044231b] received
[2022-09-21 16:02:37,675: INFO/MainProcess] Task tasks.add[2d8c8f0e-b322-4950-a438-d5bc8a7b7538] received
[2022-09-21 16:02:38,672: INFO/ForkPoolWorker-2] Task tasks.add[89e1bc55-f0a3-4036-8b6f-478de1dfa9c9] succeeded in 1.0011507477611303s: 2
[2022-09-21 16:02:38,674: INFO/ForkPoolWorker-1] Task tasks.add[bfe6a165-339c-4dd4-bf9b-e69d91acbf9d] succeeded in 1.0012883339077234s: 3
[2022-09-21 16:02:39,674: INFO/ForkPoolWorker-2] Task tasks.add[e2b682b8-0f7f-4f18-8459-682d2044231b] succeeded in 1.0011502113193274s: 4
[2022-09-21 16:02:39,676: INFO/ForkPoolWorker-1] Task tasks.add[2d8c8f0e-b322-4950-a438-d5bc8a7b7538] succeeded in 1.0011185528710485s: 5