celery 常用执行命令

最新推荐文章于 2025-04-18 17:54:51 发布
最新推荐文章于 2025-04-18 17:54:51 发布
阅读量5.2k 收藏 9
点赞数 3
分类专栏： Linux Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44649870/article/details/105844668
版权
本文详细介绍了Celery的常用执行命令及其参数，包括如何配置工作单元子进程、日志等级、任务队列等。同时，深入解析了Celery的三大核心组件：CeleryWorker（消费者）、Producer（生产者）及CeleryBeat（任务调度器）的工作原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

celery 常用执行命令详解

  • 执行命令
celery -A test-1.celery worker -n name-1 --loglevel=info --max-tasks-per-child 500 --autoscale=4,1 -Q q-1
  • 常用参数
参数说明
-A / --app要使用的应用程序实例
-n / --hostname设置自定义主机名
-Q / --queues指定一个消息队列，该进程只接受此队列的任务
–max-tasks-per-child配置工作单元子进程在被一个新进程取代之前可以执行的最大任务数量
–max-memory-per-child设置工作单元子进程被替换之前可以使用的最大内存
-l / --loglevel定义打印log的等级 DEBUG, INFO, WARNING, ERROR, CRITICAL, FATAL
–autoscale池的进程的最大数量和最小数量
-c / --concurrency同时处理任务的工作进程数量，默认值是系统上可用的cpu数量
-B / --beat定义运行celery打周期任务调度程序
-h / --helphelp！help！help！

  • -n / --hostname 参数变量扩展

    • %h: 主机名，包含域名
    • %n: 主机名
    • %d: 域名

  • 如果当前主机名是 test.ubuntu.com，那么会扩展如下

命令输出值
ttt_%httt_test.ubuntu.com
ttt_%nttt_ubuntu
ttt_%dttt_ubuntu.com

Celery的生产者和消费者

  • Celery Worker: 执行任务的消费者
  • Producer: 任务生产者. 调用 Celery API , 函数或者装饰器, 而产生任务并交给任务队列处理的都是任务生产者
  • Celery Beat: 任务调度器. Beat 进程会读取配置文件的内容, 周期性的将配置中到期需要执行的任务发送给任务队列
Python Celery快速入门教程
neweastsun的专栏
12-30 1546
Celery是一个简单、灵活、可靠的分布式系统，可以处理大量的消息，同时为操作提供维护这样一个系统所需的工具。你可能会说，执行电子邮件发送代码不需要花费时间，但是如果电子邮件服务器没有响应，如果将这部分设置为同步，站点访问者将不得不等待，直到超时发生。图片/其他文件上传任务：现在通过网页上传图片或其他类型的文档是非常常见的。假设希望提供一个工具来上传包含产品图像的产品信息，同时还需要根据要求调整图像大小，并增加与品牌相关的水印，用户在所有这些操作期间等待看起来不太好。
celery启动命令linux,Celery(示例代码)
weixin_39623805的博客
04-29 2356
1 Celery介绍1、celery应用举例1、Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理，如果你的业务场景中需要用到异步任务，就可以考虑使用celery2、你想对100台机器执行一条批量命令，可能会花很长时间 ，但你不想让你的程序等着结果返回，而是给你返回 一个任务ID,你过一段时间只需要拿着这个任务id就可以拿到任务执行结果， 在任务...
Celery的命令一览表
weixin_33811961的博客
06-02 627
2019独角兽企业重金招聘Python工程师标准>>> ...
2 celery环境搭建
最新发布
wujianyouhun的专栏
04-18 474
Celery 需要一个消息中间件（Broker）来传递任务。：生产环境推荐使用 RabbitMQ，开发环境可用 Redis 快速测试。通过浏览器访问 RabbitMQ 管理界面（默认地址。）或 Redis CLI，确认消息正常流转。
celery命令
www_b的博客
12-08 859
celery管理 celery -A celery_task worker -l INFO # 单线程 celery multi start w1 w2 -A celery_task -l info # 一次性启动w1，w2两个worker celery -A celery_pro status # 查看当前有哪些worker在运行 celery multi stop w1，w2 -A celery_pro # 停止w1，w2两个worker # 1.项目中启动
celery
weixin_43047908的博客
12-20 1417
​ Celery支持多种消息中间件作为Broker，即中间人。来在应用程序和Worker之间传递消息。​ broker是一个消息传输的中间件，可以理解为一个邮箱。每当应用程序调用celery的异步任务的时候，会向broker传递消息，而后celery的worker将会取到消息，进行对于的程序执行。好吧，这个邮箱可以看成是一个消息队列。其中Broker的中文意思是 经纪人 ，其实就是一开始说的 消息队列 ，用来发送和接受消息。这个Broker有几个方案可供选择：RabbitMQ (消息队列)，Redis。
Celery简单使用
夏末蝉未鸣的博客
02-13 975
Celery是基于Python开发的分布式任务调度工具，简单、灵活可靠，专注于实时任务处理。
celery命令参数详解及在django中的用法
Miss_Audrey的博客
08-02 1354
celery在django项目中的用法
Python celery原理及运行流程解析
09-16
### Python Celery 原理及运行流程解析 #### 一、Celery 概述 Celery 是一个高级的消息队列任务管理系统，主要用于处理大量分布式任务。它支持多种消息中间件，例如 RabbitMQ 和 Redis，并提供了丰富的 API 来定义...
python常用库之分布式任务调度框架Celery
西京刀客
06-04 3847
Celery是一个功能完备即插即用的任务队列。它使得我们不需要考虑复杂的问题，使用非常简单。celery非常易于集成到一些web开发框架中。
Django集成celery发送异步邮件实例
09-18
通过pip安装命令来安装Django-celery-beat、Django-celery-email、Celery和msgpack-python库。安装完依赖后，需要对Django项目的settings.py文件进行配置。具体需要添加到INSTALLED_APPS配置项中的包括'djcelery_...
celery分布式异步任务框架
01-06
此外，Celery支持多种启动命令和参数，例如指定任务模块、并发数、队列名称等。 定时任务是Celery的一大特色功能。通过在配置文件中添加定时任务，可以实现定时执行特定任务的目的。Celery支持的定时任务调度器Beat...
Celery基本语法
weixin_45185267的博客
08-10 5909
Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统它是一个专注于实时处理的任务队列，同时也支持任务调度中文官网：http://docs.jinkan.org/docs/celery/在线安装 sudo pip3 install -U Celery离线安装名词解释：broker - 消息传输的中间件，生产者一旦有消息发送，将发至broker；【RQ，redis】backend - 用于存储消息/任务结果，如果需要跟踪和查询任务状态，则需添加要配置相关。...
celery(分布式任务队列)介绍+在django中异步回调使用+定时任务的使用
python_web全栈
02-04 7748
0. Celery介绍 Celery是一个功能完备即插即用的异步任务队列系统。它适用于异步处理问题，当发送邮件、或者文件上传, 图像处理等等一些比较耗时的操作，我们可将其异步执行，这样用户不需要等待很久，提高用户体验。 简单，易于使用和维护，有丰富的文档。 高效，单个celery进程每分钟可以处理数百万个任务。 灵活，celery中几乎每个部分都可以自定义扩展。 总之一句话，快 一. 官方文档 中文文档http://docs.jinkan.org/docs/celery/getting-sta
celery的用法详解
liulanba的博客
07-02 3551
Celery 是一个开源的分布式任务队列框架，用于在分布式系统中进行异步任务调度和处理。它使用消息代理（如 RabbitMQ、Redis）来实现任务的发布和消费，支持任务的并发执行、定时调度和结果收集。
Celery的使用
m0_51453764的博客
09-15 1102
本文讲解了celery的基础概念和使用celery发送邮件
Celery-基础用法
u014783334的博客
06-14 3320
celery使用入门 3、创建查看结果文件，查看结果 result.py 4、启动celery 5、执行produce_task.py文件，然后查询终端日志 6、可以吧执行produce_taks.py返回的id放到result.py中进行查看结果 二、异步任务-多任务结构 2、创建任务模块task01.py task02.py 3、新建produce_task.py 4、新建result.py 5、启动............
celery windows 运行
02-06
### 配置和运行 Windows 上的 Celery 分布式任务队列 #### 准备工作 为了在 Windows 操作系统上成功配置并运行 Celery，需先安装 Python 及其包管理工具 pip。确保已正确设置了 Python 环境变量以便可以在命令提示符中直接调用 python 或 pip。 #### 安装依赖库 通过 pip 来安装 Celery 以及所选的消息代理服务（例如 Redis）。Redis 是一种常用的消息中间件，在此作为例子展示如何安装： ```bash pip install celery redis ``` #### 创建项目结构 创建一个新的文件夹来容纳项目的各个部分，并在此目录内建立必要的脚本文件。通常情况下会有一个 `tasks.py` 文件定义要执行的任务函数；还有一个启动 worker 的入口脚本 `worker.py`[^1]。 #### 编写任务模块 编辑 `tasks.py` 添加如下代码片段以定义简单的测试任务: ```python from celery import Celery app = Celery('tasks', broker='redis://localhost:6379/0') @app.task def add(x, y): return x + y ``` 这段代码初始化了一个名为 "tasks" 的 Celery 应用实例，并指定了使用的消息代理 URL (这里假设本地已经启用了默认端口上的 Redis)[^2]。 #### 启动 Celery Worker 编写 `worker.py` 脚本来启动 workers 并监听来自客户端的新任务请求: ```python from tasks import app if __name__ == '__main__': argv = [ 'worker', '--loglevel=INFO' ] app.worker_main(argv) ``` 保存以上更改后打开命令行窗口进入该工程根路径下输入以下指令启动 worker 进程: ```bash python worker.py ``` 此时应该可以看到日志输出表明 worker 正常运作等待接收新任务了。 #### 测试心跳轮询机制 为了让 Celery 在 Windows 下正常发送心跳信号给 Broker 维护连接活跃度，可在 `celeryconfig.py` 中加入特定配置项: ```python broker_heartbeat = 10 # 设置每十秒一次的心跳间隔 result_backend = 'rpc://' # 结果存储后端可选用 RPC 方式 task_serializer = 'json' # 使用 JSON 格式的序列化器提高兼容性 accept_content = ['json'] # 接受的内容类型仅限于 json timezone = 'Asia/Shanghai'# 设定时区为中国标准时间 enable_utc = False # 关闭 UTC 支持转而采用本地时间戳 ``` 完成上述操作之后再次重启 worker 即可使新的设置生效。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

时光不写代码

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值