用redis实现有优先级的"celery"

[新博客对应文章]

【需求背景】

对于异步任务处理，相信很多人首选celery，的确，celery处理异步任务非常强悍，使用简单，支持各种并发。但是，大家来看看我所遇到的一个应用场景：每次后台上传一个游戏母包，然后对这个母包处理（添加某种标识，比如id）生成多个游戏子包，其中有一些id号的包是要求尽快的处理的，剩下的可以闲时处理。这里就对要把一个母包分成两个任务来处理，其中一个是优先处理的，另一个是闲时处理。

【方案初探】

对于上面的场景，最先想到的方案是，把每个母包处理任务分成优先和闲时两个celery任务队列分别处理，分别单独配给cpu资源（土豪的话给多一台机器也行）专门处理。大家估计也想到这种做法的弊端了，这样无法有效使用资源，当优先任务队列没有任务时，闲时任务队列却满载，显然这种设计方案不是很好。

那么有没有更好的处理方案呢？试想如果任务可以按优先级别在队列中排队就好了。显然celery并没有提供优先队列这种机制，那么我们只能自己