kafka生产，保存，消费消息过程要点个人总结

一、生产

1）producer 先从 zookeeper 的 "/brokers/.../state" 节点找到该partition 的 leader

2）producer 将消息发送给该 leader

3）leader 将消息写入本地 log

4）followers 从 leader pull 消息，写入本地 log 后向 leader 发送 ACK

5）leader 收到所有 ISR 中的 replication 的ACK后，增加 HW（high watermark，最后commit 的offset）并向 producer 发送 ACK

二、保存

1）物理上把 topic 分成一个或多个 patition，计算得到相应的partition，保存到相应partition

2）保留数据是 Kafka 的一个基本特性， 但是 Kafka 不会一直保留数据，也不会等到所有消费者都读取了消息之后才删除消息。

相反，Kafka 管理员为每个主题配置了数据保留期限， 规定数据被删除之前可以保留多长时间， 或者清理数据之前可以保留的数据量大小。（时间&&大小）

3）注意：zookeeper保存的数据信息

三、消费

高级api和低级api

低级api需要指定partition以及offset（指定leader的partition）

对于每一个分区而言，只能被同一个消费者组中的其中一个消费者消费

注意：不管是生产者还是消费者，都要连接上leader的partition

 

 

总流程：首先每个broker有多个topic，每个topic有多个partition，partition有leader和follower之分，此外，partition还有offset。消费者和生产者都只能连接leader上的partition，数据是保存在kafka集群上的硬盘（顺序写的磁盘比随机写内存效率高），消费者可以属于同一个消费者组，同一个消费者组不能重复消费同一个partition。此外消费者可以指定partition和offset进行消费。补充kafka集群zookeeper的作用