django中 celery 如何优雅重启

本文介绍了如何优雅地重启Celery工作进程,避免使用kill-9导致任务丢失。通过发送HUP信号, Celery主线程会将未完成的任务记录到broker(如Redis),并在下次启动时重新加载。提供的Python代码示例展示了如何发送HUP信号并安全移除PID文件。
摘要由CSDN通过智能技术生成

因为项目中有延时任务,如果使用kill -9 直接KILL进程,会导致现有任务无法在下次启动时被加载,这里使用官方推荐的信号机制,这时celery的主线程会将待完成的任务记录在 broker中(博主用的是redis,而且没有改任何配置),这时会生成一个叫 celery的key,里面记录了未完成的任务,在celery下次启动时会去重新加载这些任务。

优雅的重启celery:

import os
f = '/var/run/celery/celery.pid'
if os.path.exists(f):
    pid = open(f,'r').read()
    os.system(f'kill -HUP {pid}')
    os.remove(f)

os.system('celery multi start 1 -A your_pro -l INFO --pidfile=/var/run/celery/celery.pid  --logfile=/var/log/your_pro/celery.log')

参考: https://docs.celeryproject.org/en/stable/userguide/workers.html?highlight=HUP#restarting-the-worker

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
DjangoCelery是一个基于Python的分布式任务队列,它可以用来异步执行耗时的任务,例如发送邮件、生成PDF等等。Celery需要配合一种消息间件来使用,而Redis是一种流行的消息间件,可以与Celery配合使用。 在Django使用Celery和Redis可以按照以下步骤进行: 1. 安装Celery和Redis ``` pip install celery redis ``` 2. 在Django项目配置CeleryDjango项目的settings.py文件添加如下配置: ``` # 配置Celery CELERY_BROKER_URL = 'redis://localhost:6379/0' # 指定redis作为消息间件 CELERY_RESULT_BACKEND = 'redis://localhost:6379/0' # 指定redis作为结果存储 # 加载Celery配置 CELERY_TIMEZONE = 'Asia/Shanghai' CELERY_ACCEPT_CONTENT = ['application/json'] CELERY_TASK_SERIALIZER = 'json' CELERY_RESULT_SERIALIZER = 'json' ``` 3. 在Django项目创建Celery任务 在Django项目的某个app,可以创建一个tasks.py文件,定义Celery任务: ``` from celery import shared_task @shared_task def add(x, y): return x + y ``` 4. 启动Celery worker 在命令行,进入Django项目的根目录,启动Celery worker: ``` celery -A project_name worker --loglevel=info ``` 其,project_name是Django项目的名称。 5. 调用Celery任务 在Django项目,可以通过如下方式调用Celery任务: ``` from .tasks import add result = add.delay(2, 3) ``` 上述代码会异步执行add任务,返回一个AsyncResult对象,可以通过该对象获取任务执行结果。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值