1、Kafka作用
- 消息系统
- 具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等特点
- 存储系统
- Kafka可以将消息持久化到磁盘
- 流式处理平台
2、基本概念
1)Producer:生产者,也就是发送消息的一方。
2)Consumer:消费者,也就是接受消息的一方
3)Broker:Kafka服务节点
4)Topic:消息以主题为单位进行归类,生产者负责将消息发送到特定的主题,而消息者负责订阅主题并进行消费。主题是一个逻辑上的概念。
5)分区:同一主题下的不同分区包含的消息是不同的,分区在存储层面可以看作是一个可追加的Log。
3、AR & ISR
AR:分区中的所有副本
ISR(In-Sync Replicas)同步副本:所有与leader副本保持一定程度同步的副本
消息会先发送到leader 副本,然后follower副本能从leader副本中拉去消息进行同步