将多个Celery定时任务添加到Systemd

将多个Celery定时任务添加到Systemd

一、设置python celery项目的配置

1. 在/etc/conf.d/目录下复制之前的celery配置文件(第一个定时任务的celery配置)，修改文件名为celery_demo(与已有的不重复)，修改配置

 # work_demo
CELERYD_NODES="work_demo"
# or we could have three nodes:
#CELERYD_NODES="w1 w2 w3"
# Celery
CELERY_BIN="/usr/local/bin/celery"
#CELERY_BIN="/virtualenvs/def/bin/celery"
# App instance to use
# comment out this line if you don't use an app
# Celeryconfig.py
CELERY_APP="demo"
# or fully qualified:
#CELERY_APP="main.tasks:app"
# How to call manage.py
CELERYD_MULTI="multi"
# Extra command-line arguments to the worker
CELERYD_OPTS="--time-limit=300 --concurrency=8"
# - %n will be replaced with the first part of the nodename.
# - %I will be replaced with the current child process index
# and is important when using the prefork pool to avoid race conditions.
CELERYD_PID_FILE="/var/run/celery/%n.pid"
CELERYD_LOG_FILE="/var/log/celery/%n%I.log"
CELERYD_LOG_LEVEL="INFO"

2. 配置项修改
   CELERYD_NODES=“work_demo”,启动的celery进程的进程名，重新定义一个进程名，与已有的不重复
   CELERY_APP=“demo”,要与定时任务配置文件config.py中创建celery对象的命名保持一致

# config.py中创建celery对象时的命名
app = Celery('demo', broker='amqp://guest@localhost//')

二、设置systemd配置

1. 在/etc/systemd/system/目录下复制之前celery.service文件，重新定义一个文件名celery_demo.service

[Unit]
Description=Celery demo Service
After=network.target
[Service]
Type=forking
# User=root
User=celery
# Group=root
Group=celery
EnvironmentFile=/etc/conf.d/celery_demo
WorkingDirectory=/root/event_crontab
ExecStart=/usr/local/bin/celery multi start work_demo -A main -Q 
queue_demo -l info -B --logfile=crontablog.log
ExecStop=/usr/local/bin/celery multi stop work_demo -A main -Q 
queue_demo -l info -B --logfile=crontablog.log
ExecReload=/usr/local/bin/celery multi restart work_demo -A main -Q 
queue_demo -l info -B --logfile=crontablog.log
[Install]
WantedBy=multi-user.target

2. 配置项修改
   [Unit]
   Description:当前服务的简单描述，可以通过不同的描述来区分不同的Celery任务，也可以不修改
   [Service]
   Type:定义启动类型，forking表示以fork（）方式启动
   User:指定启动任务的用户
   Group:指定用户的组
   EnvironmentFile:指定当前celery项目的systemd配置文件(上面编写的配置文件)：每个celery项目的配置文件都不同，要一一对应
   WorkingDirectory:指定celery项目的启动目录，项目启动文件main.py所在目录，这个目录要根据celery项目的启动入口main.py的绝对路劲来定
   ExecStart:在执行systemctl start celery_demo.service命令时，会执行ExecStart，将当前项目的启动命令作为ExecStart的值
   ExecStop:在执行systemctl stop celery_demo.service命令时，会执行ExecStop，将当前项目的停止命令作为ExecStop的值
   ExecReload:在执行systemctl restart celery_demo.service命令时，会执行ExecReload，将当前项目的重启命令作为ExecReload的值
   [Install]
   WantedBy=multi-user.target：表示重启系统后自动启动celery_demo.service

三、使用systemd运行celery_demo.service，所有命令与第一次配置相同，只是指定的配置文件名不同

1. 重载配置文件
   每次修改celery_demo.service配置后都要执行命令,以便systemd确认该文件
   systemctl daemon-reload
2. 启动命令
   systemctl start celery_demo.service
3. 停止命令
   systemctl stop celery_demo.service
4. 重启命令
   systemctl restart celery_demo.service
5. 查看celery.service的运行状态
   systemctl status celery_demo.service

四、横向扩展
后续只要有新的Celery定时任务，都可以重复以上方法将定时任务添加到systemd中，各项目的定时任务互不影响
可以通过命令查看当前运行的celery进程有哪些，看有几个项目的定时任务正在运行

ps -aux | grep celery