016_消息队列
文章平均质量分 97
消息队列,任务队列
罗西的思考
这个作者很懒,什么都没留下…
展开
-
[源码分析] 定时任务调度框架 Quartz 之 故障切换
之前在 Celery 的故障切换之中,提到了 Quartz 的故障切换策略,本文就顺便看看 Quartz 如何实现。大家可以互相印证下,看看这些系统之间的异同和精华所在。原创 2021-05-24 20:46:03 · 214 阅读 · 0 评论 -
[源码解析] 并行分布式框架 Celery 之 Lamport 逻辑时钟 & Mingle
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本文介绍 Celery 的Lamport 逻辑时钟 & Mingle。原创 2021-05-20 20:40:08 · 150 阅读 · 0 评论 -
[源码解析] 并行分布式框架 Celery 之 容错机制
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本文介绍 Celery 的故障转移容错机制。原创 2021-05-17 20:25:06 · 306 阅读 · 1 评论 -
[源码解析] 并行分布式任务队列 Celery 之 负载均衡
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本文介绍 Celery 的负载均衡机制。原创 2021-05-13 22:16:12 · 275 阅读 · 1 评论 -
[源码解析] 并行分布式任务队列 Celery 之 EventDispatcher & Event 组件
Celery是一个简单、灵活且可靠的,处理大量事件的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本文讲解 EventDispatcher 和 Event 组件 如何实现。原创 2021-05-11 06:25:41 · 114 阅读 · 1 评论 -
[源码分析] 并行分布式任务队列 Celery 之 Timer & Heartbeat
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。之前我们用了十几篇文章,介绍了 Kombu 和 Celery 的基础功能。从本文开始,我们介绍 Celery 的一些辅助功能(比如负载均衡,容错等等)。其实从某种意义上来说,这些辅助功能更加重要。本文我们介绍 Timer 和 Heart 这两个组件。原创 2021-05-07 06:21:20 · 355 阅读 · 1 评论 -
[源码分析]并行分布式任务队列 Celery 之 子进程处理消息
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。在前文中,我们介绍了Celery 多线程模型,本文介绍子进程如何处理消息。原创 2021-04-26 08:47:34 · 357 阅读 · 0 评论 -
[源码分析] 分布式任务队列 Celery 多线程模型 之 子进程
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。在前文中,我们介绍了Celery 多线程模型,但是我们略过了子进程这一个阶段,本文看看子进程如何继续启动。原创 2021-04-23 06:23:19 · 317 阅读 · 2 评论 -
[源码分析] 分布式任务队列 Celery 之 发送Task & AMQP
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。在之前的文章中,我们看到了关于Task的分析,本文我们重点看看在客户端如何发送Task,以及 Celery 的amqp对象如何使用。原创 2021-04-20 06:26:44 · 256 阅读 · 1 评论 -
[源码解析] 并行分布式任务队列 Celery 之 多进程架构和模型
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。因为 Celery 通过多进程来提高执行效率,所以本文将带领大家初步了解 Celery 之 多进程架构和模型。原创 2021-04-15 06:40:15 · 284 阅读 · 3 评论 -
[源码解析] 并行分布式任务队列 Celery 之 动态消费流程
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。经过多篇文章之后(在文末有链接),我们介绍了 Celery 如何启动,也介绍了 Task。本文我们就看看收到一个任务之后,Celery(包括 Kombu)内部的消费流程脉络(到多进程之前)。原创 2021-04-12 23:45:45 · 232 阅读 · 0 评论 -
[源码解析] 并行分布式任务队列 Celery 之 Task是什么
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本文目的是看看 Celery 的 task 究竟是什么,以及 如果我们想从无到有实现一个 task 机制,有哪些地方需要注意,应该如何处理。原创 2021-04-08 21:28:01 · 332 阅读 · 3 评论 -
[源码解析] 并行分布式任务队列 Celery 之启动 Consumer
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本文我们来说说Celery Worker Consumer 组件的启动。首先会概述启动过程,然后会选择Consumer的三个有特点的 子组件 进一步讲解其启动过程。这样大家就对 Consumer 的来龙去脉了解会更加深入。原创 2021-04-05 09:42:20 · 243 阅读 · 1 评论 -
[源码解析] 并行分布式框架 Celery 之 worker 启动 (2)
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。Celery 是调用其Worker 组件来完成具体任务处理。前文讲了 Celery 启动过程的前半部分,本文继续后半部分的分析。原创 2021-04-01 21:55:04 · 687 阅读 · 1 评论 -
[源码解析] 并行分布式框架 Celery 之 worker 启动 (1)
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。Celery 是调用其Worker 组件来完成具体任务处理。本文我们讲解worker的启动过程。原创 2021-03-29 21:20:24 · 538 阅读 · 3 评论 -
[源码解析] 并行分布式任务队列 Celery 之架构 (2)
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本系列将通过源码分析,和大家一起深入学习 Celery。本文是系列第二篇,继续探究 Celery 架构。原创 2021-03-25 22:58:07 · 192 阅读 · 2 评论 -
[源码解析] 并行分布式框架 Celery 之架构 (1)
Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。前面我们用几篇文章分析了 Kombu,为 Celery 的分析打下了基础。本系列将继续通过源码分析,和大家一起深入学习 Celery。原创 2021-03-22 22:20:57 · 255 阅读 · 0 评论 -
[源码分析] 消息队列 Kombu 之 mailbox
本系列我们介绍消息队列 Kombu。Kombu 的定位是一个兼容 AMQP 协议的消息队列抽象。通过本文,大家可以了解 Kombu 中的 mailbox 概念,顺便可以把之前几篇文章内容再次梳理下。原创 2021-03-18 21:37:13 · 240 阅读 · 0 评论 -
[源码分析] 消息队列 Kombu 之 Hub
本系列我们介绍消息队列 Kombu。Kombu 的定位是一个兼容 AMQP 协议的消息队列抽象。通过本文,大家可以了解 Kombu 中的 Hub 概念。原创 2021-03-16 06:35:55 · 255 阅读 · 0 评论 -
[源码分析] 消息队列 Kombu 之 Producer
本系列我们介绍消息队列 Kombu。Kombu 的定位是一个兼容 AMQP 协议的消息队列抽象。通过本文,大家可以了解 Kombu 中的 Producer 概念。原创 2021-03-12 22:24:21 · 191 阅读 · 0 评论 -
[源码分析] 消息队列 Kombu 之 Consumer
本系列我们介绍消息队列 Kombu。Kombu 的定位是一个兼容 AMQP 协议的消息队列抽象。通过本文,大家可以了解 Kombu 中的 Consumer 概念。原创 2021-03-09 15:48:36 · 364 阅读 · 4 评论 -
[源码分析] 消息队列 Kombu 之 启动过程
本系列我们介绍消息队列 Kombu。Kombu 的定位是一个兼容 AMQP 协议的消息队列抽象。通过本文,大家可以了解 Kombu 是如何启动,以及如何搭建一个基本的架子。原创 2021-03-04 16:44:48 · 309 阅读 · 0 评论 -
[源码解析] 消息队列 Kombu 之 基本架构
Kombu 的定位是一个兼容 AMQP 协议的消息队列抽象,是一个把消息传递封装成统一接口的库。其特点是支持多种的符合APMQ协议的消息队列系统。通过本系列,大家可以了解 Kombu 是如何实现 AMQP。本文先介绍相关概念和整体逻辑架构。原创 2021-03-01 19:37:54 · 397 阅读 · 0 评论