celery实现分布式

worker运行在不同的机器上，每台机器上有多个task进程；

worker运行的时候连接到broker，在控制机器上（任务发布节点）直接向broker发送任务，只要建立一个broker，在不同的机器上运行celery worker。

 

框架图：

task.py：

# -*- coding: utf-8 -*-
from celery import Celery
from celery.schedules import timedelta
from celery.task import periodic_task

class Config:
    BROKER_URL = 'redis://10.21.144.110:6379/5'
    CELERY_RESULT_BACKEND = 'redis://10.21.144.110:6379/6'
    CELERY_TIMEZONE = 'Asia/Shanghai'

app = Celery('celery-tasks')
app.config_from_object(Config)

@app.task(queue='for_task_collect') #第一个队列
def println():
    print("thanks for god")
    return 'success'

@app.task(queue='for_task_add') #第二个队列
def add(x, y):
    print("x + y = {}".format(x+y))
    return x+y

test.py文件（任务生产者）：

 

# -*- coding: utf-8 -*-
from tasks import add, println
for i in range(500):
    println.delay()
    add.delay(2, 2)

 

 

1、若想多台机器共同使用其中一台机器上的Redis作为任务调度队列Broker，需要配置该机器上的redis文件，配置完成后 务必重启redis服务

2、将task.py与test.py放在Broker服务器（样例中是10.21.144.110）的同一目录下，同时将task.py文件放到另一台worker服务器上（10.21.144.111）

 

3、分别在两台服务器上启动worker：

celery worker -A tasks -l info -Q for_task_add #机器10.21.144.110接收队列for_task_add中的任务交给worker处理
celery worker -A tasks -l info -Q for_task_collect #机器10.21.144.111接收队列for_task_collect中的任务交给worker处理

4、测试：执行python test.py

机器10.21.144.110上的worker处理结果：

机器10.21.144.111上的worker处理结果：

 

从两张图中，可以清楚地看到机器10.21.144.110产生的任务根据队列被送往不同的机器上交给worker处理，实现了分布式。