celery的介绍+使用

Celery 简介

​ Celery是一个基于python开发的分布式异步消息任务队列，通过它可以请轻松的实现任务的异步处理，如果你的业务场景中需要用到异步任务，可以使用celery

Celery场景

​ 首先对该任务非常耗时，其次不注重结果。

​ 如：短信业务，邮箱业务等。 （注意：如扣费，转账等就不能使用celery）

Celery介绍

​ Celery的框架有三部分组成 ，Broker (消息中间件) ，Worker (任务执行单元) ，Backend (任务结果存储)

Broker

• Celery本身不提供消息服务，但是可以和第三方提供的消息中间件(队列) 集成，如：RabbitMQ，Redis，KaFKa, 等 每当应用程序调用Celery的异步任务的时候吗，会向Broker传递消息，Broker会把当前传递来的Celery异步任务保存到 Broker中间件里 也可以叫做消息队列，而后worker将会获取消息。

Worker

• Worker是Celery的任务执行单元，worker并发的运行在分布式的系统节点中，执行Broker中的Celery的异步任务

Backend

• Backend用来存储worker执行任务的结果，Celery支持以不同方式存储任务的结果，包括Redis，MongoDB 等

如下图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-okQsEJBI-1589204089950)(/blog/img/celery.png)]

可以看到，Celery 主要包含以下几个模块：

• 任务模块 Task

  包含异步任务和定时任务。其中，异步任务通常在业务逻辑中被触发并发往任务队列，而定时任务由 Celery Beat 进程周期性地将任务发往任务队列。

• 消息中间件 Broker

  Broker，即为任务调度队列，接收任务生产者发来的消息（即任务），将任务存入队列。Celery 本身不提供队列服务，官方推荐使用 RabbitMQ 和 Redis 等。

• 任务执行单元 Worker

  Worker 是执行任务的处理单元，它实时监控消息队列，获取队列中调度的任务，并执行它。

• 任务结果存储 Backend

  Backend 用于存储任务的执行结果，以供查询。同消息中间件一样，存储也可使用 RabbitMQ, redis 和 MongoDB 等。

安装

安装Rabbitmq

官方安装方法: http://www.rabbitmq.com/install-windows.html

centos系统安装-rabbitmq：hhttp://lql674470845.gitee.io/blog/post/centos-rabbitmq/

安装Celery ，使用(简单例子)

#安装celery
pip install celery

这里需要注意如果你的 celery 是 4.0 及以上版本请确保 python 的 redis 库版本在 2.10.4 及以上，否则会出现 redis 连接 timeout 的错误

• 创建一个tasks

  #tasks.py
  #导入celery
  from celery import Celery
  
  #我这里broker使用的是rabbitmq  backend使用的是redis
  app = Celery('tasks',broker='amqp://youusername:youpassword@ip:post',
               backend="redis://:youpassword@ip/0")
  
  
  #app.task装饰add函数成一个Task实例
  @app.task
  def add(x,y):
      return x + y
  
  
  

  OK，到这里，broker 我们有了，backend 我们有了，task 我们也有了，现在就该运行 worker 进行工作了，在 tasks.py 所在目录下运行

• celery -A tasks worker -l info 
  
  #-A 参数指定创建的celery对象的位置，后面加worker表示该celery实例就是任务执行者
  #-l 参数指定worker输出的日志级别
  
  #注意如果你是用的是windows10系统运行celery4.x版本会出现错误
  #解决办法是安装一个eventlet
  pip isntall eventlet
  #再次启动
  celery -A tasks worker -l info -p eventlet
  

  意思就是运行 tasks 这个任务集合的 worker 进行工作（当然此时broker中还没有任务，worker此时相当于待命状态）

  最后一步，就是触发任务啦，最简单方式就是再写一个脚本然后调用那个被装饰成 task 的函数：

• #trigger.py
  from tasks import add
  x = input('请输入x')
  y = input('请输入y')
  
  #不要直接 add(4, 4)，这里需要用 celery 提供的接口 delay 进行调用
  r = add.delay(int(x),int(y))
  #获取结果  两者都可以获取
  print("task_done",r.get())
  print("task_done2",r.result)
  

  运行此脚本

  到此，一个简单的celery应用就完成了