博客主页:JavaProfessional
一个专注于Java的博主,致力于使用通俗易懂的语句讲解内容,期待您的关注!
Kafka内部结构
解析
以上图片串联起来了kafka的基本概念,并且还是有很多要点的,我们从左向右一一解析:
- 首先从整体上来讲,整体分为3个部分:生产者、kafka集群、消费者。
- 我们看到一个topic分为了3个partition分布在了集群中的3个broker中,这样说明topic是一个逻辑概念,partition是存储的物理单位。
- 生产者可以指定将消息存储到哪个partition中,就像producer1一样;也可以像producer2,只是指定消息存储的topic,到底存储在哪个partition由kafka决定。
- 为了保证可靠性,每个partition都有replicated副本,而且这个副本是存储在另一个broker上。
- 对于每一个partition来说,都会有一个broker充当leader角色,有可能具有follower角色。leader角色负责读写消息并向follower同步消息,follower负责当leader挂掉之后,从众多follower中选举一个充当新leader。在上图中partition1充当leader角色的是broker1,充当follower角色的是broker3;partition2充当leader角色的是broker2, 充当follower角色的是broker1.
- topic中的消息只能被消费组(由1、2共同组成)中的一个消费者消费;topic可以被多个消费者消费,就像可以被1、2组成的消费组和3一起消费。
疑问
看过上图后你对kafka有了基本的认识,可能会有很多疑问:
- 一个topic被分为多个partition,是如何做到顺序消费的呢?
- leader是如何与follower同步的呢,如何保证一致性?如果一个leader在与follower同步的时候挂掉了,选举出的follower会丢失消息吗?
- kafka多个partition之间是怎样做负载均衡的
kafka外部结构
- ZooKeeper是Kafka用来负责集群元数据的管理,包括集群、broker、主题、分区等内容的管理。
ZooKeeper
ZooKeeper是一个开源的分布式协调服务,分布式应用程序可以基于ZooKeeper实现注诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master管理、配置维护等功能。