celery demo

Celery_Study

启动demo

安装celery

pip install -U Celery

安装redis

pip install redis

消费者 celery_task.py

import celery
import time

backend = 'redis://root:cyou2021%@127.0.0.1:65500/10'
broker = 'redis://root:cyou2021%@127.0.0.1:65500/11'
cel = celery.Celery('test', backend=backend, broker=broker)


@cel.task
def send_email(name):
    print("向%s发送邮件..." % name)
    time.sleep(5)
    print("向%s发送邮件完成" % name)
    return "ok"

异步任务执行命令

celery -A celery_task worker -l info

生产者 produce_task.py

from celery_task import send_email
from celery_task import send_msg


result = send_email.delay("yuan")
print(result.id)

result2 = send_msg.delay("alex")
print(result2.id)

获取结果 result.py

from celery.result import AsyncResult
from celery_task import cel

async_result = AsyncResult(id="92e2dbba-d5b6-485a-a246-bc49e3df1786", app=cel)

if async_result.successful():
    result = async_result.get()
    print(result)
    # result.forget() # 将结果删除
elif async_result.failed():
    print('执行失败')
elif async_result.status == 'PENDING':
    print('任务等待中被执行')
elif async_result.status == 'RETRY':
    print('任务异常后正在重试')
elif async_result.status == 'STARTED':
    print('任务已经开始被执行')

多任务结构

.
└── celery_tasks
    ├── celery.py
    ├── __init__.py
    ├── task01.py
    └── task02.py

celery配置文件 celery.py

from celery import Celery

cel = Celery('celery_demo',
             broker='redis://127.0.0.1:6379/1',
             backend='redis://127.0.0.1:6379/2',
             # 包含以下两个任务文件，去相应的py文件中找任务，对多个任务做分类
             include=['celery_tasks.task01',
                      'celery_tasks.task02'
                      ])

# 时区
cel.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
cel.conf.enable_utc = False

任务1 task01.py

import time
from celery_tasks.celery import cel


@cel.task
def send_email(res):
    print("完成向{}发送邮件任务".format(res))
    time.sleep(5)
    return "邮件完成!"

任务2 task02.py

import time
from celery_tasks.celery import cel


@cel.task
def send_msg(res):
    print("完成向{}发送短信任务".format(res))
    time.sleep(5)
    return "短信完成!"

开启worker

celery -A celery_tasks worker -l info -P eventlet

备注: 直接执行命令失败, 找不到模块eventlet, 使用pip直接安装失败, 使用以下命令也能执行成功

celery -A celery_tasks worker -l info

补充: 只有一个任务执行成功

简单结构下定时任务

只需要修改produce_task.py

不需要生产者

结果检查 和简单结构的异步任务一致

from celery_task import send_email
from datetime import datetime

# 方式一
# v1 = datetime(2020, 3, 11, 16, 19, 00)
# print(v1)
# v2 = datetime.utcfromtimestamp(v1.timestamp())
# print(v2)
# result = send_email.apply_async(args=["egon",], eta=v2)
# print(result.id)

# 方式二
ctime = datetime.now()
# 默认用utc时间
utc_ctime = datetime.utcfromtimestamp(ctime.timestamp())
from datetime import timedelta
time_delay = timedelta(seconds=10)
task_time = utc_ctime + time_delay

# 使用apply_async并设定时间
result = send_email.apply_async(args=["egon"], eta=task_time)
print(result.id)

多目录结构的定时任务

只需要修改celery.py配置文件

不需要生产者

结果检查 和多任务结构的异步任务一致

from datetime import timedelta
from celery import Celery
from celery.schedules import crontab

cel = Celery('tasks', broker='redis://127.0.0.1:6379/1', backend='redis://127.0.0.1:6379/2', include=[
    'celery_tasks.task01',
    'celery_tasks.task02',
])
cel.conf.timezone = 'Asia/Shanghai'
cel.conf.enable_utc = False

cel.conf.beat_schedule = {
    # 名字随意命名
    'add-every-10-seconds': {
        # 执行tasks1下的test_celery函数
        'task': 'celery_tasks.task01.send_email',
        # 每隔2秒执行一次
        # 'schedule': 1.0,
        # 'schedule': crontab(minute="*/1"),
        'schedule': timedelta(seconds=6),
        # 传递参数
        'args': ('张三',)
    },
    # 'add-every-12-seconds': {
    #     'task': 'celery_tasks.task01.send_email',
    #     每年4月11号，8点42分执行
    #     'schedule': crontab(minute=42, hour=8, day_of_month=11, month_of_year=4),
    #     'args': ('张三',)
    # },
} 

# 启动 Beat 程序
$ celery -A celery_tasks beat -l info
# Celery Beat进程会读取配置文件的内容，周期性的将配置中到期需要执行的任务发送给任务队列

# 之后启动 worker 进程.
$ celery -A celery_tasks worker -l info

django中使用celery完成异步和定时任务

└── mycelery				# 在django项目根目录下
    ├── config.py			# celery配置文件
    ├── email				# email的任务目录
    │   ├── __init__.py
    │   └── tasks.py		# 任务文件, 文件名固定
    ├── __init__.py
    ├── main.py				# celery主函数
    └── sms					# sms的任务目录
        ├── __init__.py
        └── tasks.py		# 任务文件, 文件名固定

配置文件config.py

broker_url = 'redis://root:cyou2021%@127.0.0.1:6379/15'
result_backend = 'redis://root:cyou2021%@127.0.0.1:6379/14'

任务文件tasks.py

# celery的任务必须写在tasks.py的文件中，别的文件名称不识别!!!
from mycelery.main import app
import time


import logging
log = logging.getLogger("django")

@app.task  # name表示设置任务的名称，如果不填写，则默认使用函数名做为任务名
def send_sms(mobile):
    """发送短信"""
    print("向手机号%s发送短信成功!"%mobile)
    time.sleep(5)

    return "send_sms OK"

@app.task  # name表示设置任务的名称，如果不填写，则默认使用函数名做为任务名
def send_sms2(mobile):
    print("向手机号%s发送短信成功!2" % mobile)
    time.sleep(5)

    return "send_sms2 OK"

celery主程序 main.py

# 主程序
import os
from celery import Celery
# 创建celery实例对象
app = Celery("sms")

# 把celery和django进行组合，识别和加载django的配置文件
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'celeryPros.settings.dev')

# 通过app对象加载配置
app.config_from_object("mycelerys.config")

# 加载任务
# 参数必须必须是一个列表，里面的每一个任务都是任务的路径名称
# app.autodiscover_tasks(["任务1","任务2"])
app.autodiscover_tasks(["mycelerys.sms",])

# 启动Celery的命令
# 强烈建议切换目录到mycelery根目录下启动
# celery -A mycelery.main worker --loglevel=info

django视图调用 views.py

from django.shortcuts import render

# Create your views here.


from django.shortcuts import render,HttpResponse
from mycelery.sms.tasks import send_sms,send_sms2
from datetime import timedelta

from datetime import datetime
def test(request):

    ################################# 异步任务

    # 1. 声明一个和celery一模一样的任务函数，但是我们可以导包来解决

    # send_sms.delay("110")
    # send_sms2.delay("119")
    # send_sms.delay() 如果调用的任务函数没有参数，则不需要填写任何内容


    ################################# 定时任务

    # ctime = datetime.now()
    # # 默认用utc时间
    # utc_ctime = datetime.utcfromtimestamp(ctime.timestamp())
    # time_delay = timedelta(seconds=10)
    # task_time = utc_ctime + time_delay
    # result = send_sms.apply_async(["911", ], eta=task_time)
    # print(result.id)

    return HttpResponse('ok')

开启消费者命令:

celery -A mycelery.main worker --loglevel=info