celery使用mysql当队列_Celery+rabbitmq+mysql+flower

celery最佳实践

作为一个Celery使用重度用户，看到Celery Best Practices这篇文章，不由得菊花一紧。干脆翻译出来，同时也会加入我们项目中celery的实战经验。

通常在使用Django的时候，你可能需要执行一些长时间的后台任务，没准你可能需要使用一些能排序的任务队列，那么Celery将会是一个非常好的选择。

当把Celery作为一个任务队列用于很多项目中后，作者积累了一些最佳实践方式，譬如如何用合适的方式使用Celery，以及一些Celery提供的但是还未充分使用的特性。

1，不要使用数据库作为你的AMQP Broker

数据库并不是天生设计成能用于AMQP broker的，在生产环境下，它很有可能在某时候当机(PS，当掉这点我觉得任何系统都不能保证不当吧！！！)。

作者猜想为啥很多人使用数据库作为broker主要是因为他们已经有一个数据库用来给web app提供数据存储了，于是干脆直接拿来使用，设置成Celery的broker是很容易的，并且不需要再安装其他组件(譬如RabbitMQ)。

假设有如下场景：你有4个后端workers去获取并处理放入到数据库里面的任务，这意味着你有4个进程为了获取最新任务，需要频繁地去轮询数据库，没准每个worker同时还有多个自己的并发线程在干这事情。

某一天，你发现因为太多的任务产生，4个worker不够用了，处理任务的速度已经大大落后于生产任务的速度，于是你不停去增加worker的数 量。突然，你的数据库因为大量进程轮询任务而变得响应缓慢，磁盘IO一直处于高峰值状态，你的web应