爬虫系列20.Celery - 分布式任务队列

最新推荐文章于 2021-08-21 17:51:08 发布

豆豆orz

最新推荐文章于 2021-08-21 17:51:08 发布

阅读量884

点赞数

分类专栏：爬虫系列文章标签：爬虫

本文链接：https://blog.csdn.net/runnoob_1115/article/details/78545867

版权

爬虫系列专栏收录该内容

20 篇文章 0 订阅

订阅专栏

celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作，但对调度支持也很好。
celery用于生产系统每天处理数以百万计的任务。
celery是用Python编写的，但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。
建议的消息代理RabbitMQ的，但提供有限支持Redis, Beanstalk, MongoDB, CouchDB, ，和数据库（使用SQLAlchemy的或Django的
ORM） 。
celery是易于集成Django, Pylons and Flask，使用 django-celery, celery-pylons and Flask-Celery 附加包即可。
最简单的实现应用
from celery import Celery
app = Celery('hello',broker='amqp://guest@localhost//')
@app.task
def hello():
return 'hello world'
特性：
1.高可用性，若连接丢失，子程和客户端会自动重试，并且一些中间人通过 主、主 或主/从的方式复制来提高可用性
2.快速，单个Celery进程每分钟可以处理数以百万计的任务，而且往返延迟很短。
3.灵活