celery是简单的处理大量消息的分布式系统。可以用celery异步处理各种任务,并且支持水平地扩展处理能力。在运用celery的过程中,注意一些点,可以让我们更好的利用celery完成任务。
1.用好celery beat
如果你想更好的管理项目的定时任务,可以用celery beat代替crontab管理。celery不仅支持动态的异步任务(通过delay调用),也支持定时任务执行。当然我们可以用crontab实现任务的定时执行,但是crontab是与项目代码隔离的,为了更方便地管理定时任务用celery beat代替也是一个不错的选择。celery beat是celery额外起的一个进程,具体命令行:
celery -A yourApp beat
该进程开启后会根据配置定期的发送任务到broker中,最终任务的执行还是由worker执行
2.参数传递
大多数场景下传递任意数据时可行的,但是如果数据内容本身是可变的,那么这时候就要仔细考虑了。假定参数是一个对象,这个对象映射到数据库中的一行数据,如果任务在等待执行的过程中该行数据有改变,那么在任务执行的时候,使用到的这个对象就是一个过期数据。所以尽量传递不变(这里的不变与python不可变数据类型不是一个概念)的参数。
3.序列化方式
celery支持多种序列化方式,但是每种序列化方式产生的数据大小是不同的,如果在broker吞吐量存在瓶颈的情况下,可以选择产生数据较小的序列化方式
4.使用计划任务
假定有这样一个场景,用户创建了订单,减少了商品库存,但是还未支付,这时候需要给用户一个限定的支付时间如半个小时,如果半个小时之后这笔订单还未