Kafka从入门到精通02

博客主页:JavaProfessional
一个专注于Java的博主，致力于使用通俗易懂的语句讲解内容，期待您的关注！

Kafka内部结构

解析

以上图片串联起来了kafka的基本概念，并且还是有很多要点的，我们从左向右一一解析：

1. 首先从整体上来讲，整体分为3个部分：生产者、kafka集群、消费者。
2. 我们看到一个topic分为了3个partition分布在了集群中的3个broker中，这样说明topic是一个逻辑概念，partition是存储的物理单位。
3. 生产者可以指定将消息存储到哪个partition中，就像producer1一样；也可以像producer2，只是指定消息存储的topic，到底存储在哪个partition由kafka决定。
4. 为了保证可靠性，每个partition都有replicated副本，而且这个副本是存储在另一个broker上。
5. 对于每一个partition来说，都会有一个broker充当leader角色，有可能具有follower角色。leader角色负责读写消息并向follower同步消息，follower负责当leader挂掉之后，从众多follower中选举一个充当新leader。在上图中partition1充当leader角色的是broker1，充当follower角色的是broker3；partition2充当leader角色的是broker2， 充当follower角色的是broker1.
6. topic中的消息只能被消费组（由1、2共同组成）中的一个消费者消费；topic可以被多个消费者消费，就像可以被1、2组成的消费组和3一起消费。

疑问

看过上图后你对kafka有了基本的认识，可能会有很多疑问：

1. 一个topic被分为多个partition，是如何做到顺序消费的呢？
2. leader是如何与follower同步的呢，如何保证一致性？如果一个leader在与follower同步的时候挂掉了，选举出的follower会丢失消息吗？
3. kafka多个partition之间是怎样做负载均衡的

kafka外部结构

1. ZooKeeper是Kafka用来负责集群元数据的管理，包括集群、broker、主题、分区等内容的管理。

ZooKeeper
ZooKeeper是一个开源的分布式协调服务，分布式应用程序可以基于ZooKeeper实现注诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master管理、配置维护等功能。

好文推荐

1. 通俗易懂JVM
2. 为什么Spring中的IOC(控制反转)能够降低耦合性（解耦）？
3. 效率翻倍，这些idea的逆天功能你知道吗？