kafka+zookeeper篇（组件、原理、使用场景、面试）

kafka+zookeeper篇

原理参考网址：https://baijiahao.baidu.com/s?id=1707532312474947023&wfr=spider&for=pc

面试参考网址：https://baijiahao.baidu.com/s?id=1704798315073808616&wfr=spider&for=pc

Kafka简介

Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：

• 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能
• 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输
• 支持Kafka Server间的消息分区，及分布式消费，同时保证每个Partition内的消息顺序传输
• 同时支持离线数据处理和实时数据处理
• Scale out：支持在线水平扩展

名词解析

• Broker
  　　Kafka集群包含一个或多个服务器，这种服务器被称为broker
• Topic
  　　每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
• Partition
  　　Parition(分区)是物理上的概念，每个Topic包含一个或多个Partition（文件夹）.
• Producer
  　　负责发布消息到Kafka broker
• Consumer
  　　消息消费者，向Kafka broker读取消息的客户端。
• Consumer Group
  　　每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。
• Replica ：副本，同一分区的不同副本保存的是相同的消息，为保证集群中的某个节点发生故障时，该节点上的 partition 数据不丢失，且 kafka 仍然能够继续工作，kafka 提供了副本机制，一个 topic 的每个分区都有若干个副本，一个 leader 和若干个 follower。
• Leader ：每个分区的多个副本中的"主副本"，生产者以及消费者只与 Leader 交互。
• Follower ：每个分区的多个副本中的"从副本"，负责实时从 Leader 中同步数据，保持和 Leader 数据的同步。Leader 发生故障时，从 Follower 副本中重新选举新的 Leader 副本对外提供服务。

Kafka拓扑结构

​ 一个典型的Kafka集群