Celery分布式任务队列简单介绍

Celery介绍：

---

　　celery通过消息进行通信，通常使用一个叫Broker(中间人)来协调client(任务的发出者)和worker(任务的处理者). clients发出消息到队列中，broker将队列中的信息派发给worker来处理。

　　Celery需要一种解决消息的发送和接受的方式，我们把这种用来存储消息的的中间装置叫做message broker, 也可叫做消息中间人。 作为中间人，我们有几种方案可选择：

1.RabbitMQ

RabbitMQ是一个功能完备，稳定的并且易于安装的broker. 它是生产环境中最优的选择。使用RabbitMQ的细节参照以下链接： http://docs.celeryproject.org/en/latest/getting-started/brokers/rabbitmq.html#broker-rabbitmq
如果我们使用的是Ubuntu或者Debian发行版的Linux，可以直接通过下面的命令安装RabbitMQ: sudo apt-get install rabbitmq-server 安装完毕之后，RabbitMQ-server服务器就已经在后台运行。如果您用的并不是Ubuntu或Debian, 可以在以下网址： http://www.rabbitmq.com/download.html 去查找自己所需要的版本软件。

2.Redis

Redis也是一款功能完备的broker可选项，但是其更可能因意外中断或者电源故障导致数据丢失的情况。 关于Redis作为Broker，可访下面网址： http://docs.celeryproject.org/en/latest/getting-started/brokers/redis.html#broker-redis


　　使用celery第一件要做的最为重要的事情是需要先创建一个Celery实例，我们一般叫做celery应用，或者更简单直接叫做一个app。app应用是我们使用celery所有功能的入口，比如创建任务，管理任务等，在使用celery的时候，app必须能够被其他的模块导入。

---

案例：

	import time

	@app.task
	def add (x, y):
    	print('enter call func......')
    	# 模拟阻塞
    	time.sleep(4)
    	return x + y

   
	if __name__ == '__main__':
    	print('start task.....')
    	result = add(2, 8)
    	print('end task')
    	print(result)

输出结果：

	start task.....
	enter call func......
	# 4秒后输出以下内容
	end task
	10

说明：

• 没有使用celery之前print('end task')输出语句一直处于阻塞状态，直到add函数调用执行完成后才会输出
• 在使用celery之后则不会阻塞，直接输出end task，任务函数会被发送到redis消息队列，worker监控消息队列，发现有新的任务，便去调用执行，并返回结果，示例如下：

---

Celery使用：

1. 安装celery，我们选择使用redis作为中间消息队列（celery版本需要和redis版本有依赖关系，所以我们最好在安装celery时指明redis，这样系统会根据celery版本所需安装合适的redis版本）

	pip3 install -U celery[redis]

2. 创建应用

首先我们创建task.py模块，内容如下：

	import time
	from celery import Celery

	broker = 'redis://localhost:6379/1'
	backend = 'redis://localhost:6379/2'

	#             模块名称     消息中间件      存储任务执行结果
	app = Celery('my_task', broker=broker, backend=backend)


	@app.task
	def add (x, y):
    	print('enter call func......')
    	# 模拟阻塞
    	time.sleep(4)
    	return x + y
    	

在app.py文件中调用

	# task是我们python文件名，add对我们的函数名
	from task import add


	if __name__ == '__main__':
    	print('start task.....')
    	# delay：异步执行
    	result = add.delay(2, 8)
    	print('end task')
    	print(result)
    	

说明：

• 我们指定了backend存储任务执行结果
• 可以通过result.ready()来查看任务处理结果，完成返回True，未完成返回False
• 可以通过result.get()来获取返回结果
• 终端测试：如果要获取result.get()，就必须等待函数执行完成

	ubantu@ubantu-virtual-machine:~/Desktop$ python3
	Python 3.5.2 (default, Nov 12 2018, 13:43:14) 
	[GCC 5.4.0 20160609] on linux
	Type "help", "copyright", "credits" or "license" for more information.
	>>> from task import add
	>>> add.delay(3, 9)
	<AsyncResult: 605f53d5-7586-4c46-9bac-96d706105d72>
	>>> result = add.delay(3, 9)
	>>> result.ready()
	True
	>>> result.get()
	12
	>>> 
	>>>
	>>>
	>>> result = add.delay(4, 7)
	>>> result.ready()
	>>> False
	>>> ....  # 阻塞中
	>>> 11
	>>> result.ready()
	>>> True

启动worker：

	# -A：指定worker文件位置
	# -l：指定日志级别
	celery worker -A tasks -l INFO

	 
 -------------- celery@ubantu-virtual-machine v4.2.1 (windowlicker)
---- **** ----- 
--- * ***  * -- Linux-4.13.0-36-generic-x86_64-with-Ubuntu-16.04-xenial 2019-02-14 19:28:42
-- * - **** --- 
- ** ---------- [config]
- ** ---------- .> app:         my_task:0x7f9cb8ffb7f0
- ** ---------- .> transport:   redis://localhost:6379/1
- ** ---------- .> results:     redis://localhost:6379/2
- *** --- * --- .> concurrency: 2 (prefork)
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** ----- 
 -------------- [queues]
                .> celery           exchange=celery(direct) key=celery
                

[tasks]
  . task.add  # 当前位置 task 文件下的 add 函数

[2019-02-14 19:28:42,643: INFO/MainProcess] Connected to redis://localhost:6379/1
[2019-02-14 19:28:42,669: INFO/MainProcess] mingle: searching for neighbors
[2019-02-14 19:28:43,724: INFO/MainProcess] mingle: all alone
[2019-02-14 19:28:43,758: INFO/MainProcess] celery@ubantu-virtual-machine ready.

运行任务文件：

	python3 app.py

输出：

	start task.....
	end task  # 此处没有遇到阻塞，直接输出
	d20d649c-2188-49bd-846c-b9c14106c714

	[tasks]
  . task.add

	[2019-02-14 19:28:42,643: INFO/MainProcess] Connected to redis://localhost:6379/1
	[2019-02-14 19:28:42,669: INFO/MainProcess] mingle: searching for neighbors
	[2019-02-14 19:28:43,724: INFO/MainProcess] mingle: all alone
	[2019-02-14 19:28:43,758: INFO/MainProcess] celery@ubantu-virtual-machine ready.
	[2019-02-14 19:31:27,506: INFO/MainProcess] Received task: task.add[d20d649c-2188-49bd-846c-b9c14106c714]  
	[2019-02-14 19:31:27,508: WARNING/ForkPoolWorker-2] enter call func......
	# 4.013025895999817秒后输出函数调用结果 10
	[2019-02-14 19:31:31,521: INFO/ForkPoolWorker-2] Task task.add[d20d649c-2188-49bd-846c-b9c14106c714] succeeded in 		4.013025895999817s: 10