kafka初识 之 Topic、Partition、生产者、消费者、Broker、Cluster概念分析

本文详细比较了Kafka的两种消费模式,点对点和订阅/发布,介绍了主题和分区的概念,以及Producer和Consumer的角色。此外,还探讨了Broker和集群的作用,以及Kafka如何保证消息的可靠性和顺序性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

kafka消息队列有两种消费模式,分别是点对点模式和订阅/发布模式。具体比较可以参考Kafka基础–消息队列与消费模式。

1. 主题(Topic)与分区(Partition)

  • Topic:消息主题,是消息的逻辑分类,具体分类的方式就是用Topic进行区分,不同类别的消息具有不同的Topic。
  • 每条消息属于且仅属于一个Topic
  • Producer发布数据时,必须指定将该消息发布到哪个Topic
  • Consumer消费消息时,也必须指定消费哪个Topic的信息
  • partition:主题内分区,是物理分类。每一个主题都对应一个「消息队列」,一个 Topic 对应多个 Partition。

partition的目的是:通过多分区实现负载均衡的效果,提高kafka访问吞吐率。

  • 写入数据的规则
  • kafka默认轮询规则
  • producer指定partition key写入特定的partition
  • producer自定义规则

2. 生产者(Producer)与消费者(Consumer)

生产者(也称为发布者)创建消息,而消费者(也称为订阅者)负责消费or读取消息。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值