#### kafka里broker、topic、partition、consumerGroup、consumer的关系 ####

wangfy_

已于 2022-07-11 11:49:01 修改

阅读量6.9k

点赞数 2

分类专栏： mq 文章标签： kafka 分布式 java

于 2021-03-12 15:05:41 首次发布

本文链接：https://blog.csdn.net/chushoufengli/article/details/114662193

版权

mq 专栏收录该内容

13 篇文章 2 订阅

订阅专栏

partition和consumerGroup和consumer

partition和consumerGroup和consumer

同一个group内，consumer数量不能大于partition数，多出来的收不到消息。

同一个消息只能被同组的单个消费者消费，但是是可以被其他组的消费者消费到

broker、集群、副本

broker：一个独立的kafka服务器被称为broker。broker接收来自生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。broker为消费者提供服务，对读取分区的请求作出相应，返回已经提交到磁盘上的消息。

集群：交给同一个zookeeper集群来管理的broker节点就组成了kafka的集群。broker是集群的组成部分，每个集群都有一个broker同时充当集群控制器的角色。控制器负责管理工作，包括将分区分配给broker和监控broker。在broker中，一个分区从属于一个broker，该broker被称为分区的首领。

副本：当Topic设置了多个副本的时候，一个分区可以分配给多个broker，这时会发生分区复制。

topic、partition

Kafka的消息通过主题（Topic）进行分类，就好比是数据库的表，或者是文件系统里的文件夹。主题可以被分为若干个分区（Partition），一个分区就是一个提交日志。消息以追加的方式写入分区，然后以先进先出的顺序读取。注意，由于一个主题一般包含几个分区，因此无法在整个主题范围内保证消息的顺序，但可以保证消息在单个分区内的顺序。主题是逻辑上的概念，在物理上，一个主题是横跨多个服务器的。