将多个Celery定时任务添加到Systemd
一、设置python celery项目的配置
- 在/etc/conf.d/目录下复制之前的celery配置文件(第一个定时任务的celery配置),修改文件名为celery_demo(与已有的不重复),修改配置
# work_demo
CELERYD_NODES="work_demo"
# or we could have three nodes:
#CELERYD_NODES="w1 w2 w3"
# Celery
CELERY_BIN="/usr/local/bin/celery"
#CELERY_BIN="/virtualenvs/def/bin/celery"
# App instance to use
# comment out this line if you don't use an app
# Celeryconfig.py
CELERY_APP="demo"
# or fully qualified:
#CELERY_APP="main.tasks:app"
# How to call manage.py
CELERYD_MULTI="multi"
# Extra command-line arguments to the worker
CELERYD_OPTS="--time-limit=300 --concurrency=8"
# - %n will be replaced with the first part of the nodename.
# - %I will be replaced with the current child process index
# and is important when using the prefork pool to avoid race conditions.
CELERYD_PID_FILE="/var/run/celery/%n.pid"
CELERYD_LOG_FILE="/var/log/celery/%n%I.log"
CELERYD_LOG_LEVEL="INFO"
- 配置项修改
CELERYD_NODES=“work_demo”,启动的celery进程的进程名,重新定义一个进程名,与已有的不重复
CELERY_APP=“demo”,要与定时任务配置文件config.py中创建celery对象的命名保持一致
# config.py中创建celery对象时的命名
app = Celery('demo', broker='amqp://guest@localhost//')
二、设置systemd配置
- 在/etc/systemd/system/目录下复制之前celery.service文件,重新定义一个文件名celery_demo.service
[Unit]
Description=Celery demo Service
After=network.target
[Service]
Type=forking
# User=root
User=celery
# Group=root
Group=celery
EnvironmentFile=/etc/conf.d/celery_demo
WorkingDirectory=/root/event_crontab
ExecStart=/usr/local/bin/celery multi start work_demo -A main -Q
queue_demo -l info -B --logfile=crontablog.log
ExecStop=/usr/local/bin/celery multi stop work_demo -A main -Q
queue_demo -l info -B --logfile=crontablog.log
ExecReload=/usr/local/bin/celery multi restart work_demo -A main -Q
queue_demo -l info -B --logfile=crontablog.log
[Install]
WantedBy=multi-user.target
- 配置项修改
[Unit]
Description:当前服务的简单描述,可以通过不同的描述来区分不同的Celery任务,也可以不修改
[Service]
Type:定义启动类型,forking表示以fork()方式启动
User:指定启动任务的用户
Group:指定用户的组
EnvironmentFile:指定当前celery项目的systemd配置文件(上面编写的配置文件):每个celery项目的配置文件都不同,要一一对应
WorkingDirectory:指定celery项目的启动目录,项目启动文件main.py所在目录,这个目录要根据celery项目的启动入口main.py的绝对路劲来定
ExecStart:在执行systemctl start celery_demo.service命令时,会执行ExecStart,将当前项目的启动命令作为ExecStart的值
ExecStop:在执行systemctl stop celery_demo.service命令时,会执行ExecStop,将当前项目的停止命令作为ExecStop的值
ExecReload:在执行systemctl restart celery_demo.service命令时,会执行ExecReload,将当前项目的重启命令作为ExecReload的值
[Install]
WantedBy=multi-user.target:表示重启系统后自动启动celery_demo.service
三、使用systemd运行celery_demo.service,所有命令与第一次配置相同,只是指定的配置文件名不同
- 重载配置文件
每次修改celery_demo.service配置后都要执行命令,以便systemd确认该文件
systemctl daemon-reload - 启动命令
systemctl start celery_demo.service - 停止命令
systemctl stop celery_demo.service - 重启命令
systemctl restart celery_demo.service - 查看celery.service的运行状态
systemctl status celery_demo.service
四、横向扩展
后续只要有新的Celery定时任务,都可以重复以上方法将定时任务添加到systemd中,各项目的定时任务互不影响
可以通过命令查看当前运行的celery进程有哪些,看有几个项目的定时任务正在运行
ps -aux | grep celery