kafka基本概念

1.topics 主题 :属于特定类别的消息流成为主题。数据存储在topics中,topics被拆分为分区。对于每个主题,kafka保存一个分区的数据
每个这样的分区包含不可变有序序列的消息。分区被实现为具有相等大小的一组分段文件。

2.partition 分区:主题可能有许多分区,因此它可以处理任意数量的数据。

3.partition offset 分区偏移:每个分区消息具有成为 offset 的唯一序列标识

4.replicas of partition 分区备份:副本只是一个分区的 备份,副本从不读取或写入数据。它们用于防止数据丢失。

5.brokers 经纪人 :代理使负责维护发布数据的简单系统。每个代理中的每个主题可以具有0到n个分区。假设在一个主题和n个代理中有n个分区,每个代理将有一个分区
假设在一个主题中有n个分区并且多于n个代理(n+m),则第一个n代理将具有一个分区,并且下一个M代理将不具有该特定主题的任何分区

6.kafka cluster kafka集群:kafka有多个代理被称为kafka集群,可以扩展kafka集群,无需停机。这些集群用于管理消息数据的持久性和复制。

7.producers 生产者:生产者使发送一个或多个kafka主题的消息的发布者。生产者向kafka经纪人发送数据。每当生产者将消息发送给代理时,代理只需将消息附加到最后一个段文件。
实际上,该消息被附加到分区。生产者还可以向它们选择的分区发送消息。

8.consumers 消费者:消费者从经纪人处读取数据。消费者订阅一个或多个主题,并通过从代理中提取数据来使用已发布的消息。

9.leader 领导者:leader是负责给定分区的所有读取和写入的节点。每个分区都有一个服务器充当leader.

10.follower 追随者:跟随领导者指令的节点被称为follower.如果领导失败,一个追随者将自动称为新的领导者。跟随者作为正常消费者,拉取小气并更新其自己的数据存储

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值