Kafka 探索记录 一

1.Kafka大致分为三个部分：Producer -> Server -> Consumer

Producer 生产者 主要负责产生消息，输入到Server中

Server 服务端 主要负责维护生产者生产的数据，以供Consumer使用

Consumer 消费者 从Server中消费来自Producer产生的消息

2.Server部分就是我们说的Kafka实体软件，其中还需要Zookeeper的配合；Producer和Consumer可以用kafka的cli工具，也可以用各种语言的client包

3.在Kafka中数据维度是Topic->Partition->Replication，即kafka可以拥有多个topic主题，一个topic可以有多个partition，而一个partition可以有多个副本

4.kafka的数据可以有点对点和广播两种消费模式，通过消费组的概念达成两种消费模式

5.kafka的数据不会消费完就不存在，而是在一定时间内、一定存储大小内存在机器中

6.consumer消费顺序由offset记录，一个消费者可以消费多个topic下的数据，也可以对应同一个消费者的不同partition

7.partition和consumer的数量都可以动态增加，其中partition只能变多，consumer可以变多变少，这两者变化后会触发重平衡机制，经过测试增加partition的重平衡可能会丢失消息。