django python3 异步_Celery 3 版本 定时执行与 异步执行 | Django 案例

Celery介绍

Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celery。

软件架构

Django案例

环境

* python3.6.4

* django 2.0

* django-celery==3.2.1

* django-kombu==0.9.4

* celery-with-redis==3.0

* celery==3.1.25

目录结构

autoops/

autoops/settings

tasks/tasks.py

settings

import djcelery

INSTALLED_APPS = [

'djcelery',

'kombu',

]

djcelery.setup_loader()

BROKER_URL = 'redis://127.0.0.1:6379/0' #消息存储数据存储在仓库0

CELERY_RESULT_BACKEND = 'djcelery.backends.database:DatabaseBackend' # 指定 Backend

CELERY_ACCEPT_CONTENT = ['application/json']

CELERY_TASK_SERIALIZER = 'json'

CELERY_RESULT_SERIALIZER = 'json'

CELERY_TIMEZONE = 'Asia/Shanghai'

#CELERY_ALWAYS_EAGER = True # 如果开启，Celery便以eager模式运行, 则task便不需要加delay运行

CELERY_IMPORTS = ('tasks.tasks',)

CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' #这是使用了django-celery默认的数据库调度模型,任务执行周期都被存在你指定的orm数据库中

tasks.py

from celery import Celery, platforms

platforms.C_FORCE_ROOT = True

app = Celery('my_task')

app.config_from_object('django.conf:settings',)

app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

@app.task()

def ansbile(): ##如果想异步调用 ansible api,请在任务前面添加如下

from multiprocessing import current_process

# try:

# current_process()._config

# except AttributeError:

current_process()._config = {'semprefix': '/mp'}

@app.task()

def cmd_job(host,cmd): ## 执行命令

i = asset.objects.get(network_ip=host)

ret = ssh(ip=i.network_ip, port=i.port, username=i.username, password=i.password, cmd=cmd)

return ret['data']

def test(): ## 下面是异步调用 celery 的例子

from tasks.tasks import cmd_job

aa = cmd_job.apply_async(args=('43.241.238.109', 'pwd'))

print("id",aa.task_id,"返回值",aa.get() ,aa.result, "状态",aa.state)

from djcelery.models import TaskMeta

b = TaskMeta.objects.get(task_id=aa).result

print("返回值",b)

Django 后台

以下是定时执行，直接后台操作即可。很简单。

数据库结构

* | celery_taskmeta ##异步任务，会将结果写入到这个表内

* | celery_tasksetmeta

* | djcelery_crontabschedule

* | djcelery_intervalschedule

* | djcelery_periodictask

* | djcelery_periodictasks

* | djcelery_taskstate ##django后台执行的定时任务，会将结果写到这个表里

* | djcelery_workerstate

from djcelery.models import TaskMeta，TaskState ##这样获取表

在数据库里看 result 内容是乱码，但是 通过orm获取的时候，显示是正常的。请知悉。

启动命令

#实际执行任务的程序

/usr/bin/python /opt/autoops/manage.py celery worker -c 4 --loglevel=info

#任务调度, 根据配置文件发布定时任务

/usr/bin/python /opt/autoops/manage.py celery beat --schedule=/tmp/celerybeat-schedule --pidfile=/tmp/django_celerybeat.pid --loglevel=INFO

# Django 检查 workers 是否在线

/usr/bin/python /opt/autoops/manage.py celerycam --frequency=10.0