celery:若要创建异步/定时任务
异步任务:指不立即执行的任务,而是等待某种方式触发后才执行的任务。
比如某些任务执行时间非常长,所以我不让他立即执行,不然程序一直等着他执行完阻塞在这儿了。所以把他扔到队列,以某种方式触发后才执行,执行结束后以回调方式通知用户。
使用场景:上传大文件。
用 Celery 前:
- 用户发请求
- 服务端接受处理
- 服务端处理(花很长时间)
- 用户收到结果
用 Celery 后:
- 用户发请求
- 服务端把接受请求
- 服务端把要处理的函数以及参数丢到 task queue,并获得一个 task id (很快)
- 用户收到 task id(您的请求已受理,但是还没有完成,但你可以用 task id 来查询结果,如果你不需要知道执行结果的话就不用再查了)
定时任务:定时执行某件事情,比如定时统计
celery框架:支持即时任务,还支持定时任务。
任务会被生产者[产生任务]放在broker,即队列,celery不提供队列,可利用redis,形成task队列
如果是异步任务,消费者woker会立即从队列中取出来执行执行任务,将结果存储backend[可以是redis等]
如果是定时任务,任务由Celery Beat进程周期性地将任务发往Broker队列,Worker会实时地监控队列中有没有任务,如果有就取出执行