MQ: 一张图读懂kafka工作原理

最新推荐文章于 2024-08-19 19:22:43 发布

置顶 hanchao5272

最新推荐文章于 2024-08-19 19:22:43 发布

阅读量4.3k

点赞数 19

分类专栏：消息队列文章标签： kafka mq 原理 producer consumer

本文链接：https://blog.csdn.net/hanchao5272/article/details/100037633

版权

3 篇文章 0 订阅

订阅专栏

Kafka是由Apache软件基金会开发的一个开源消息队列，由Scala和Java编写。

首先，我们来kafka的整体数据流架构图：

上图中，涉及以下术语：

其他术语Key、Leader、Replicas、ISR在后续章节中逐步介绍。

想要弄清楚kafka的工作原理，首先应该对消息的存储结构进行掌握。

区分消息的逻辑概念是话题Topic，Topic存储于Broker之中，如下图所示：

为了便于理解，我们直接看图说话：

Broker与Topic

Topic与Partition

单看Topic-0-Partition-0：Broker中消息容器的最小单元为Partition，Partition存储了一条条的消息。
单看Broker-1：
- Topic可有多个Partition，如Topic-1有2个分区；若共计9条消息，则可能2个分区分别存储了4、5条消息。
- Topic可只有1个Partition，如Topic-2；若共计9条消息，则这个单独的分区存储了9条消息。
- 分区存储哪条消息取决于Producer发送消息时的选择，相关内容后续章节介绍。

多副本冗余机制

单看Topic-2：
- 粗框Partition表示Leader(主)分区，负责读写消息；
- 细框Partition表示Replicas(从)分区，被动复制Leader，复制冗余容灾。
- 如果Broker-1挂掉，则Topic-2-Partition-0的Leader挂掉，从其余两个Replicas中选举出新的Leader继续提供服务。
- Replicas的数量不能超过Broker的数量，因为一个Broker上存在多个Replicas与存在一个Replicas的效果是一样的。
- Replicas的数量可以小于Broker的数量。
再看Topic-0：
- 每个Partition都会有Leader和Replicas。
- kafka会尽量打散同一Topic的分区Leader，如图，3个Leader分布于3个Broker中。
- 分区Leader的分散分布不是绝对的，比方说此时只有一个Broker，则3个分区都是Leader，都分布在同一个Broker上。
- 分区的数量可以大于Broker的数量，因为分区存在的目的是加快消息消费速度，与冗余容灾无关。

相对有序性

Producer消息生产语义

Partition、Replicas和Broker的计算方式

搞清楚消息的存储之后，我们再来看消息的生产：

为了便于理解，我们直接看图说话：

①：一个Producer可以向多个Topic、多个Partition发送消息。
②：多个Producer可以向同一个Topic、同一个Partition发送消息。
③：消息发送参数：( topic, [partition], [key], message )
- topic必填；message即消息本身，必填。
- partition选填。如未填，则判断key是否存在，若key不存在，则随机选分区。
- key选填。如填写，则根据key哈希之后取模分区数量的结果，选择分区；如未填，则随机选分区。
- 随机选分区：优先使用缓存的随机分区；若缓存为空，则随机选分区，然后将随机分区存入缓存，供下次使用。

我们继续学习消息的消费：

为了便于理解，我们直接看图说话：

消息消费方式

消息消费的箭头方向：kafka消费消息的方式只有pull，没有push。
- push的优势在于实时性高，但是容易因Producer生产消息过快压垮Consumer。
- pull的优势在于可以控制消费速度，但是容易出现空轮训。
- kafka对pull的优化：通过配置使得只有当数据存在且到达一定量级，才进行pull。

Consumer Group与Consumer

⑥⑦：一个Consumer-Group可以有多个Consumer，也可以只有1个Consumer。
⑤：一个Topic-Partition的消息可以被多个Consumer-Group消费，注意：是Consumer-Group，而不是Consumer。
⑦：若Consumer-Group只有1个Consumer，则这个Partition中的所有消息都被这个Consumer消费。
⑥：若Consumer-Group有多个Consumer，且在正常连接期间：
- 单个Partition的消息只能被其中一个Consumer消费，不能被Consumer-Group内的多个Consumer消费。
- 多个Partition的消息可以被一个Consumer消费。
- 若单个Topic的分区数量小于Consumer-Group内的Consumer个数，则会存在Consumer接受不到这个Topic的消息。

Consumer消息消费语义