- Producer:消息生产者,就是向Kafka broker发消息的客户端
- Consumer:消息消费者,向Kafka broker取消息的客户端。
- Consumer Group(CG):消费者组,由多个消费者组成。
消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响
。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。
- Broker:一台Kafka服务器就是一个Broker。一个集群由多个Broker组成。一个broker可以容纳多个topic。
- Topic:可以理解为一个队列,生产者和消费者面向的都是一个topic。
- Partition:为了实现扩展性,一个非常大的topic可以分布到多个broker上,一个topic可以分为多个partition,每个partition是一个有序的队列。
- Replica:副本。一个topic的每个分区都有多个副本,一个leader和若干个follower。
- Leader:每个分区的多个副本中的“主”,生产者发送数据,消费者消费数据的对象都是Leader。
- Follower:每个分区的多个副本中的“从”,实时从Leader中同步数据。Leader发生故障时,某个Follower会成为新的Leader。
- Zookeeper:保存集群的broker、topic、partition等metadata;另外还负责broker故障发现,partition leader选举,负载均衡等功能。
Kafka基础架构
于 2022-08-05 11:53:47 首次发布