celery 任务队列取消预取机制 加入 -O fair

celery 任务队列预取机制

我们启动celery基本命令为：

celery -A mytask worker --loglevel=info

当以此命令启动celery后，celery默认情况下执行任务会有个预取机制（prefetching），预取是什么呢，如下一张图：

我们假设有两个worker，但当任务量较多的时候，celery有个任务队列，每个wroker执行完了，就从这个队列中取任务接着执行。但当有预取机制时，队列中每个task，有了自己的明确限制，就是我这个任务需要指定的worker去执行，就算其他worker是空闲状态，也不能拿到我执行。

celery可能是考虑到公平性问题，即每个worker所执行的任务数量是要均等的。但是，这样有一个问题，当某个任务需要执行很长时间，导致这个任务占用的worker一直得不到释放，这时候任务队列中被这个不被释放的worker预取的任务，一直在等待，并且，其他空闲worker想要取任务，但是都被这个等待的任务阻塞。整个celery都讲陷入等待。

如何解决上述问题呢？

启动celery的命令加上：

celery -A mytask worker --loglevel=info -O fair

当加上-O fair时，celery将取消预取机制，如下图：

这样，只要有空闲worker，就会从任务队列中去取任务，保证任务高效执行。这样也就导致每个worker执行的任务量有差距了。