Kafka架构

Kafka架构图

3台Broker。两个Topic：Topic0和Topic1。

Topic0有两个分区：partition0和partition1，每个分区一共有三个副本。

图中红色字体的副本代表是leader，黑色字体的副本代表是follower。

绿色的线代表数据同步。

蓝色的线代表是写消息。

橙色的先代表是读消息，都是针对leader节点。

有两个消费组，第一个消费组，消费了topic0的两个分区。

第二个消费组，既消费了topic0，又消费了topic1。

其中有一个消费者，消费了topic0的partition0，还消费了topic1的partition0.有一个消费者，消费了topic0的partition0和partition1。有一个消费者，没有partition可以消费。

Kafka基础

• Broker（一台主机只有一个Broker，实现高可用需要搭建集群）
• Message、Producer、Consumer
• Topic
• Replica
• Consumer Group
• Consumer offset
• Kafka与Zookeeper

Broker（代理、中介）

Topic（主题、相当于队列Queue）

Partition（分区、分片）

Broker高可用、可靠

Replica（副本机制）

Topic 可以分区

Partition可以分段Segment，当.log的数据达到1G时，生成一套新的数据文件。

Conusmer Group（消费者组）

Consumer Offset（消费者偏移量，记录消费者读取到的消息是哪一条）