kafka简单总结

kafka的作用

当大量数据从不同的一边到达另一边,此时许多数据会被重复获取并且获取的时间无法同步

生产者和消费者

生产者:提供消息和数据方
消费者:消费消息和数据方

主题

消费者接收消息的分类

分区(partition)

1.生产者指定了分区

2.生产者没指定分区

分区器会根据键选择分区
键:1个标记
分区器:1个算法

生产者生产的消息的组成

1. 主题
2. 分区
3. 键
4. 值

偏移量

是消费者获取数据的位置，也就是第几个
注意点:

1. 1个分区里,每个消息的偏移量是唯一的
2. 消费者只能顺序读取
   也就是当消费者想读取第2个数据时,他就必须先读取第1个

broker

1. 接收生产者消息
2. 保存消息
3. 提供消息

kafka集群

由大量重复的broker组成