kafka架构图详解

Kafka 的每个 borker 都是普通节点，但启动集群时会通过 ZK Lead 选举机制选出一个Leader 作为主节点。
Productor：
生产数据写到 Kafka，持久化到硬盘。对同一个 Topic 来讲，生产者通常只有“一个”（可以多并发）。数据保存时长可配置，默认保存 7 天。
Consumer：
从 Kafka 里消费数据。对同一个 Topic 来讲，消费者会很多，根据业务需要，每个消费端会自动获得一个 ClientID(不需要我们去配置)，记录自己消费的位置 offset 保存在 ZK里。

Productor角色的场景：
    1、业务系统写入，利用我们封装的kafka的api。
    2、大数据平台数据采集，我们自己控制。

Consumer角色的场景：
    众多 consumer 消费同一个Topic时：
    需要每个consumer消费完整数据；

消费端属性 groupid 的作用：
    相同 groupid 的多个consumer各自消费一部分数据。
    不同 groupid 的多个consumer消费全量数据。