kafka的作用
当大量数据从不同的一边到达另一边,此时许多数据会被重复获取并且获取的时间无法同步
生产者和消费者
生产者:提供消息和数据方
消费者:消费消息和数据方
主题
消费者接收消息的分类
分区(partition)
1.生产者指定了分区
2.生产者没指定分区
分区器会根据键选择分区
键:1个标记
分区器:1个算法
生产者生产的消息的组成
- 主题
- 分区
- 键
- 值
偏移量
是消费者获取数据的位置,也就是第几个
注意点:
- 1个分区里,每个消息的偏移量是唯一的
- 消费者只能顺序读取
也就是当消费者想读取第2个数据时,他就必须先读取第1个
broker
- 接收生产者消息
- 保存消息
- 提供消息
kafka集群
由大量重复的broker组成