本文介绍了Python的分布式任务调度库Celery的使用，包括为何选择Celery、Broker选择、解决Celery以root用户启动的问题、任务重复执行的处理、使用不同Queue、启动多个Workers执行不同任务以及关注任务执行状态的考虑。Celery适用于实时异步任务和定时任务调度，文中给出了常见问题的解决方案。
为什么要使用celery
Celery是一个使用Python开发的分布式任务调度模块，因此对于大量使用Python构建的系统，可以说是无缝衔接，使用起来很方便。Celery专注于实时处理任务，同时也支持任务的定时调度。因此适合实时异步任务定时任务等调度场景。Celery需要依靠RabbitMQ等作为消息代理，同时也支持Redis甚至是Mysql，Mongo等，当然，官方默认推荐的是RabbitMQ。
broker的选择
虽然官方支持的broker有很多，包括RabbitMQ，Redis甚至是数据库，但是不推荐使用数据库，因为数据库需要不断访问磁盘，当你的任务量大了之后会造成很严重的性能问题，同时你的应用很可能也在使用同一个数据库，这样可能导致你的应用被拖垮。如果业务环境比较简单可以选择Redis，如果比较复杂选择RabbitMQ，因为RabbitMQ是官方推荐的，但是比Redis操作起来又相对复杂些。我的选择是broker用RabbitMQ，backend用Redis
celery不能用root用户启动问题 C_FORCE_ROOT environment
如果使用root用户启动celery会遇到下面的问题
Running a worker with superuser privileges when the
worker accepts messages serialized with pickle is a very bad idea!
If you really want to continue then you have to set the C_FORCE_ROOT
environment variable (but please think about this
最低0.47元/天 解锁文章
1276
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
