kafka 架构原理

Kafka 架构分为三大块，生产者(producer)，消费者(consumer)、消息代理者(broker)。

1、生产者端将消息发送到代理者 broker

2、不同类型消息在broker 被归类于到不同的主题下也就是topic，抽象topic 类的数据保存在分布式的多个partition下，每个partition 是一个文件夹，数据以分段的形式保存于（.log）的文件下和索引文件

3消费者端通过pull 的方式 向 broker 下的 topic 拉取数据消费

其中：每个partition 又有多个副本partition位于其它机器，其中有一个副本是leader、其它副本为follower（如下图三个副本）