Kafka基础架构

Kafka基础架构

---

消息队列的两种模式

1. 点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）

• 过程：

  1. producer将消息发送到queue中；
  2. consumer从queue中拉取并消费message；
  3. message从queue中删除

• 特点：

  1. 一个queue可以有多个consumer；
  2. 一个message只会被一个consumer消费；

2. 发布/订阅模式（一对多，消费者消费消息之后消息不会被清除）

• 过程：

  1. producer将message发布到topic中；
  2. 多个consumer同事消费该message；

• 特点:

  1. topic 中的message会被所有订阅的consumer消费

---

Kafka架构

基本介绍

• Producer :消息生产者，就是向 Kafka broker 发消息的客户端。
• Consumer :消息消费者，向 Kafka broker 消费消息的客户端。
• Topic :可以理解为一个队列，生产者和消费者面向的都是topic。
• Broker : Kafka服务器
  1. 一个集群由多个 broker 组成；
  2. 一个 broker 可以容纳多个 topic。
• Partition: 分区
  1. 为了实现扩展性，一个大的 topic可以分布到多个 broker上；
  2. 一个 topic可以分为多个partition，每个partition都是一个有序的队列。
• Consumer Group (CG): 消费者组
  1. 一个消费者组由多个 consumer 组成；
  2. 同一个消费者组内不同消费者负责消费不同分区的数据；
  3. 一个分区同时只能由一个消费者组内的一个消费者消费;
  4. 消费者组之间互不影响；
  5. 每一个消费者都属于某个消费者组；
  6. 消费者组是一个逻辑上的订阅者；
• Replica:副本
  1. 为保证集群中的某个节点发生故障时，该节点上的 partition 数据不丢失，且 kafka仍然能够继续工作，kafka 提供了副本机制；
  2. 一个 topic 的每个分区都有若干个副本， 即一个分区由一个 leader 和若干个follower组成；
• leader:每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是leader。
• follower:每个分区多个副本中的“从”，实时从 leader 中同步数据，保持和 leader 数据 的同步。leader 发生故障时，某个 follower 会成为新的 leader，同一个partition的leader和follower不会存在于同一个Broker。
• zookeeper：存储Kafka集群信息，帮助管理集群；存储消费者的位置信息；（0.9版本之前位置信息存储在zookeeper，0.9版本之后位置信息存储在kafka集群磁盘中，默认保存7天）

---