【菜鸟教程】Kafka消息队列入门中（生产者、消费者、数据一致性）

工作流程

如下图，topicA是一个3分区2副本的topic，2副本表示leader和follower加起来一共为2。注意leader和follower是不在一个broker的，即不在一台服务器，否则服务器故障时会一起挂掉，备份将没有意义。offset是每个分区独立的，而不是全局性的，如图可以看到每个分区中offset都是从0开始的。并且消费者组中的消费者不能消费同一个分区的内容。

Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic
的。
topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文
件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端，且每条数据都有自己的 offset。消费者组中的每个消费者，都会实时记录自己消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。

由于生产者生产的消息会不断追加到 log 文件末尾，为防止 log 文件过大导致数据定位
效率低下，Kafka 采取了分片和索引机制，将每个 partition 分为多个 segment。每个 segment对应两个文件——“.index”文件和“.log”文件。

index 和 log 文件以当前 segment 的第一条消息的 offset 命名。下图为 index 文件和 log
文件的结构示意图。“.index”文件存储大量的索引信息，“.log”文件存储大量的数据，索引文件中的元数据指向对应数据文件中 message 的物理偏移地址。

---

生产者

分区策略

分区的原因

• 提高集群的负载均衡能力，每个 Partition 可以通过调整以适应它所在的机器，而一个 topic又可以有多个 Partition 组成，因此整个集群就可以适应任意大小的数据了。
• 提高并发读写能力，可以以 Partition 为单位进行读写。

---

分区的原则

• 指明 partition 的情况下，直接将指明的值直接作为 partiton 值

  例如指定写到分区1，将写入分区1。

• 没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition
  数进行取余得到 partition 值

  例如没有指定分区，但key的hash值为5，分区数为3，将写入分区2

• 既没有 partition 值又没有 key 值的情况下，第一次调用时随机生成一个整数（后
  面每次调用在这个整数上自增），将这个值与 topic 可用的 partition 总数取余得到 partition 值，也就是常说的 round-robin 算法。

  例如第一次生成数3，可用分区数3，第一次写入分区0，下一次写入分区1。

---

数据可靠性保证

为保证 producer 发送的数据，能可靠的发送到指定的 topic，topic 的每个 partition 收到
producer 发送的数据后，都需要向 producer 发送 ack（acknowledgement 确认收到），如果producer 收到 ack，就会进行下一轮的发送，否则重新发送数据。