Celery如何使用与项目实践

目录:

• Celery介绍
• celery简单使用
• 在项目中如何使用celery
• celery与Django项目最佳实践
• 基于步骤1.4：在django中使用计划任务功能
• django+celery+redis实现异步周期任务
• 基于步骤1.4：在django中使用计划任务功能

一. Celery介绍

参考博客：http://www.cnblogs.com/alex3714/p/6351797.html

1、celery应用举例

• Celery 是一个
  基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理，如果你的业务场景中需要用到异步任务，就可以考虑使用celery
• 你想对100台机器执行一条批量命令，可能会花很长时间 ，但你不想让你的程序等着结果返回，而是给你返回
  一个任务ID,你过一段时间只需要拿着这个任务id就可以拿到任务执行结果， 在任务执行ing进行时，你可以继续做其它的事情
• Celery 在执行任务时需要通过一个消息中间件来接收和发送任务消息，以及存储任务结果， 一般使用rabbitMQ or Redis

2、Celery有以下优点

• 简单：一单熟悉了celery的工作流程后，配置和使用还是比较简单的
• 高可用：当任务执行失败或执行过程中发生连接中断，celery 会自动尝试重新执行任务
• 快速：一个单进程的celery每分钟可处理上百万个任务
• 灵活： 几乎celery的各个组件都可以被扩展及自定制

3、Celery基本工作流程图

• user：用户程序，用于告知celery去执行一个任务。
• broker: 存放任务（依赖RabbitMQ或Redis，进行存储）
• worker：执行任务

二. celery简单使用

1、安装

• 安装celery： pip3 install celery # ln -s/usr/local/python3/bin/celery /bin/celery

• 安装redis

2、创建tasks.py文件进行验证

tasks.py：

from celery import Celery
import time

app = Celery('TASK',
             broker='redis://localhost',        
             backend='redis://localhost')

@app.task
def add(x, y):
   print("running..add.", x, y)
   return x + y

@app.task
def minus(x, y):
   time.sleep(60)
   print("running..minus.", x, y)
   return x - y

1、启动Celery Worker来开始监听并执行任务

celery -A tasks worker --loglevel=info            # tasks是tasks.py文件：必须在tasks.py所在目录下执行

2、调用任务：再打开两个终端，进行命令行模式，调用任务

>>> import tasks

>>> import tasks

>>> t2 = tasks.minus.delay(9,11)

#然后在另一个终端重复上面步骤执行

>>> t1 = tasks.add.delay(3,4)

>>> t1.get()                 #由于t2执行sleep了3s所以t1.get()需要等待

3、celery其他命令

>>> t.ready()                                                  #返回true证明可以执行，不必等待

>>> t.get(timeout=1)                                      #如果1秒不返回结果就超时,避免一直等待

>>> t.get(propagate=False)                          #如果执行的代码错误只会打印错误信息

>>> t.traceback                                             #打印异常详细结果

三. 在项目中如何使用celery

1、创建目录celery_pro，并在celery_pro下创建下面两个文件

celery.py：

# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals
#1. absolute_import 可以使导入的celery是python绝对路基的celery模块，不是当前我们创建的celery.py
#2. unicode_literals 模块可能是python2和3兼容的，不知道
from celery import Celery
# from .celery import Celery        #这样才是导入当前目录下的celery

app = Celery('proj',
             broker='redis://localhost',
             backend='redis://localhost',
             include=['celery_pro.tasks',
                      'celery_pro.tasks2',
                      ])
#celery-pro是存放celery文件的文件夹名字

#实例化时可以添加下面这个属性
app.conf.update(
   result_expires=3600,        #执行结果放到redis里，一个小时没人取就丢弃
)

# 配置定时任务：每5秒钟执行 调用一次celery_pro下tasks.py文件中的add函数
app.conf.beat_schedule = {
   
    'add-every-5-seconds': {
   
        'task': 'celery_pro.tasks.add',
        'schedule': 5.0,
        'args': (16