django中django-celery实现定时任务

在网站开发的过程中我们经常会遇到一些异步任务的需求，有些异步任务是实时的，有些则是需要定时完成，我写过一篇django中使用celery编写异步发送邮件的博文https://blog.csdn.net/weixin_44951273/article/details/100107526，这次使用django-celery编写定时任务，需要用到的第三方库：pip install django-celery,pip install django-redis,pip install redis==2.10.6
第一步：
配置settings：
注册

注册定时任务

# celery定时任务
import djcelery # 导入django-celery模块
djcelery.setup_loader() # 进行模块加载
BROKER_URL = 'redis://127.0.0.1:6379/1' # 任务容器地址，我使用的是redis数据库
CELERY_IMPORTS = ('Celery_tasks.tasks') # 具体任务文件
CELERY_TIMEZONE = 'Asia/Shanghai' # celery时区
CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' # celery处理器，固定

# celery定时器
from celery.schedules import crontab,timedelta

CELERYBEAT_SCHEDULE = {
    u'这是一个定时任务':{
        "task":"Celery_tasks.tasks.timed_task", # 定时任务程序
        # "schedule":timedelta(seconds=30), # 30秒执行一次
        "schedule":crontab(minute='*/1'), # 每分钟执行一次
        "args":(), # 定时任务所需参数
    },
}

crontab用于配置时间，参数主要有minute,hour,day_of_week,day_of_month,month_of_year,官方文档举的例子如下：

例子	含义
crontab()	每分钟执行一次
crontab(minute=0, hour=0)	每天午夜执行
crontab(minute=0, hour=’*/3’)	每三个小时执行一次
crontab(minute=0,hour=‘0,3,6,9,12,15,18,21’)	同样是每三个小时执行一次
crontab(minute=’*/15’)	每15分钟执行一次
crontab(day_of_week=‘sunday’)	星期日每分钟执行一次
crontab(minute=’*’,hour=’*’, day_of_week=‘sun’)	同样是星期日每分钟执行一次
crontab(minute=’*/10’,hour=‘3,17,22’, day_of_week=‘thu,fri’)	每十分钟执行一次，但仅在周四或周五的凌晨3-4点，下午5-6点和晚上10点至11点之间执行。
crontab(minute=0, hour=’*/2,*/3’)	时间数可以整除2或者3的时间点执行一次，例如2点，3点，4点。5点不可以整除2或3，不执行
crontab(minute=0, hour=’*/5’)	时间点数可被5整除的时间点执行
crontab(minute=0, hour=’*/3,8-17’)	每天8点到17点之间可被3整除的时间点执行
crontab(0, 0, day_of_month=‘2’)	每个月的第二天执行
crontab(0, 0,day_of_month=‘2-30/2’)	每个月的偶数日执行
crontab(0, 0,day_of_month=‘1-7,15-21’)	在本月的第一周和第三周执行
crontab(0, 0, day_of_month=‘11’,month_of_year=‘5’)	每年5月11日执行
crontab(0, 0,month_of_year=’*/3’)	每个季度的第一个月每天执行一次

第二步：
编写定时任务程序

这样一个定时任务就编写完成了，因为我们安装了djcelery app，需要同步数据库python manage.py migrate,此时数据库会增加许多celery相关的表

同时python manage.py也会多出许多命令

下面就可以启动项目了，需要启动django项目以及django-celery，启动django-celery之前需要先启动redis

启动项目和django-celery：

python manage.py runserver # 启动项目
python manage.py celery worker -l info # 启动celery worker，处理任务
python manage.py celery beat -l info # 启动celery beat，负责把任务分发给worker
# 为了方便测试，也可以同时启动worker和beat，但此方法windows，只能分别启动。linux可行。
python manage.py celery worker -B -l info

每隔一分钟定时任务就会执行一次

但是还有一个问题，每隔worker默认跑完100个任务才会自我销毁释放内存，这样会使worker占用内存越来越大且不释放，导致内存泄漏，因此需要设置worker允许的最大任务数CELERYD_MAX_TASKS_PER_CHILD = 5

之前我们已经注册了djcelery并同步了数据库，因此我们可以在django自带后台admin中自定义定时任务