Kafka学习笔记

@TOCKafka学习笔记

1. 基本概念：

  Producer：消息生产者，向Kafka中发布消息的角色。
  Consumer：消息消费者，即从Kafka中拉取消息消费的客户端。
  Consumer Group：消费者组，消费者组则是一组中存在多个消费者，消费者消费Broker中当前Topic的不同分区中的消息，消费者组之间互不影响，所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。某一个分区中的消息只能够一个消费者组中的一个消费者所消费
  Broker：经纪人，一台Kafka服务器就是一个Broker，一个集群由多个Broker组成，一个Broker可以容纳多个Topic。
  Topic：主题，可以理解为一个队列，生产者和消费者都是面向一个Topic
  Partition：分区，为了实现扩展性，一个非常大的Topic可以分布到多个Broker上，一个Topic可以分为多个Partition，每个Partition是一个有序的队列(分区有序，不能保证全局有序)
  Replica：副本Replication，为保证集群中某个节点发生故障，节点上的Partition数据不丢失，Kafka可以正常的工作，Kafka提供了副本机制，一个Topic的每个分区有若干个副本，一个Leader和多个Follower
  Leader：每个分区多个副本的主角色，生产者发送数据的对象，以及消费者消费数据的对象都是Leader。
  Follower：每个分区多个副本的从角色，实时的从Leader中同步数据，保持和Leader数据的同步，Leader发生故障的时候，某个Follower会成为新的Leader。

2. 实操：

1）、docker拉取zookeeper和kafka


2）、启动zookeeper
3）、启动三台kafaka容器



4）、模拟生产者/消费者
      a、进入kafka容器下的opt/kafka_2.13-2.8.1/bin路径，启用kafka-topics.sh创建一个3分区的topic(队列)

      b、调用生产者创建消息

      c、调用消费者查看消息（顺序不一致）

      d、删除topic（逻辑删除）

3. 文件存储：

  kafka的文件存储是落地存储的，通过对应的log和index文件。一个Topic有多个分区，一个分区有多个segment，一个segment有两个文件，一个log，一个index。
  生产者不断向log文件追加消息。

4. ACK机制：

  发送ack的时机：
  确保有follower与leader同步完成，leader在发送ack，这样可以保证在leader挂掉之后，follower中可以选出新的leader（主要是确保follower中数据不丢失）
  follower同步完成多少才发送ack：
         a、半数以上的follower同步完成，即可发送ack
         优点：延迟低
         缺点：缺点是选举新的leader的时候，容忍n台节点的故障，需要2n+1个副本（因为需要半数同意，所以故障的时候，能够选举的前提是剩下的副本超过半数），容错率为1/2
         b、全部的follower同步完成，才可以发送ack
         优点：容错率高
         缺点：延迟高

5. ISR：

  leader中维护了一个动态的ISR（in-sync replica set），即与leader保持同步的follower集合，当ISR中的follower完成数据的同步之后，给leader发送ack，如果follower长时间没有向leader同步数据，则该f