一、Celery分布式系统构建简介
1、Celery简介
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,
同时也支持任务调度,Celery一个worker就是一个守护进程。
2、组件
在网上可以搜到Celery分布式组件大概是由这三个组件构成,Celery+RabbitMQ+Redis,当然也可以用MySQL,这种中间件的选择可以根据你的业务情况来选择,在这里主要讲的也是这3种组件各自在Celery框架中的作用,以及详细讲解任务流是怎么走的。
3、本例中的框架
Celery
broker = RabbitMQ
broker是消息中间件,主要的作用是缓存Celery提交的任务队列,行成堵塞作用。
backend = Redis
backend是结果存储件,主要的作用是对Celery执行完的数据进行存储,同时还会存储任务的执行结果,如果不需要储存结果,则不需要设置。
4、Celery简单配置文件
RabbitMQ 账号密码都是root,dispatch_server_host是自定义的一个rabbitmq虚拟主机,也可理解为队列。
Redis 这里选择存到redis 1号库 db1
# 账号密码都是root,dispatc

本文详细介绍了Celery分布式系统构建,包括Celery、RabbitMQ和Redis组件的作用,以及任务提交流程。通过实例展示了如何配置和启动RabbitMQ、Redis,以及Celery服务端,最后探讨了任务在Redis中的存储情况。
最低0.47元/天 解锁文章
1990

被折叠的 条评论
为什么被折叠?



