python celery分布式任务调度

 

简介

Celery 通过消息机制进行通信，通常使用中间人（Broker）作为客户端和职程（Worker）调节。启动一个任务，客户端向消息队列发送一条消息，然后中间人（Broker）将消息传递给一个职程（Worker），最后由职程（Worker）进行执行中间人（Broker）分配的任务



组件
依赖第三方服务，如redis
celery分为两个部分，一个是生产者（触发者，调用者），一个是消费者（）
创建者为 xxx.delay()
消费者为@app.task 注解的方法.当函数被@app.task装饰后, 就成为可被 Celery 调度的任务


启动
1.启动redis服务
2启动celery work。此时会把服务注册到redis，暴露给生产者
3生产者调用方法，通过redis触发消费者的具体实现

大胆猜测：启动celery的时候，会把所有含有@app.task的方法注册到redis里面去，暴露给调用者。此时调用这调用相关方法xxx.delay()，发送消息给redis，redis调度运行次方法，让celery运行次方法。调用着和消费者完全通过redis关联，两边无需互通

@app.task
xxx.delay()