kafka知识点总结

kafka的架构图见此链接kafka架构理解

重要概念

1. partition (分区的概念)：消息发送时都被推送到一个topic上，而topic是由分区（partition）构成
   分区的原因：方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，
   而一个topic又可以有多个Partition组成，因此整个集群就可以适应任意大小的数据了；
   可以提高并发，因为可以以Partition为单位读写．

2. 副本（replication）
   同一个partition可能会有多个replication（对应server.properties 配置中的default.replication.factor=N）。没有replication的情况下，一旦broker 宕机，其上所有patition 的数据都不可被消费，同时producer也不能再将数据存于其上的patition。引入replication之后，同一个partition可能会有多个replication，而这时需要在这些replication之间选出一个leader，producer和consumer只与这个leader交互，其它replication作为follower从leader 中复制数据

3. 消息写入过程
   １producer先从zookeeper的"/brokers/…/state"节点找到该partition的leader
   2）producer将消息发送给该leader
   3）leader将消息写入本地log
   4）followers从leader pull消息，写入本地log后向leader发送ACK
   ５leader收到所有ISR中的replication的ACK后，增加HW（high watermark，最后commit 的offset）
   并向producer发送ACK

4. 消息消费方式
   consumer采用pull的方式从broker中读取数据
   push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。而pull模式则可以根据consumer的消费能力以适当的速率消费消息。对于Kafka而言，pull模式更合适，它可简化broker的设计，consumer可自主控制消费消息的速率，同时consumer可以自己控制消费方式——即可批量消费也可逐条消费，同时还能选择不同的提交方式从而实现不同的传输语义

5. broker
   一个服务器就是一个broker 一个集群由多个broker组成　一个broker可以容纳多个topic

6. topic就是一个消息队列

7. broker保存消息
   物理上把topic分成一个或多个partition(对应server.properties中的num.partitions=3配置)，每个partiton物理上对应一个文件夹（该文件夹存储该partition的所有消息和索引文件）

8. 存储策略
   无论消息是否被消费，kafka都会保留所有消息，有两种策略可以删除旧数据，

   1. 基于时间　log.retention.hours =168
   2. 基于大小：log.retention.bytes=2122212121
      注意：因为kafka读取特定消息的时间复杂度，为O(1) 即与文件大小无关，所以这里删除过期文件与提高kafka性能无关．