kafka的两种模式

最新推荐文章于 2023-10-25 20:15:00 发布
最新推荐文章于 2023-10-25 20:15:00 发布
阅读量638 收藏
点赞数
文章标签： kafka 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44631123/article/details/128946657
版权

1：点对点模式
2：发布/订阅模式
两者的主要区别是：
点对点模式：
消息队列中的数据被第一个消费者消费完毕后，消息队列会删除该被消费者消费的数据；
发布/订阅模式：
1：主要有多个topic主题。
2：就算是被消费者消费了数据，也不会删除消息队列中的数据；
如下图
在这里插入图片描述

Promise
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka消息队列最常用的两种模式，以及应用场景
杨荧的CSDN博客
07-17 3194
本文讲解了kafka消息队列最常用的两种模式，以及应用场景。
kafka最新版本3.1.0版本安装（使用zookeeper及使用kraft）两种安装及日常维护命令，kafka 3.0
05-11
kafka最新版本3.1.0版本安装（使用zookeeper及使用kraft）两种安装及日常维护命令，kafka 3.0提出了去 [Zookeeper]后的 Kafka，即 KRaft 模式,本文对相关安装、维护、及新版本的一些更新进行说明
Kafka面试题.pdf
08-04
Kafka的设计是什么样的、数据传输的事物定义有哪三种、Kafka判断一个节点是否还活着有那两个条件、producer是否直接将数据发送到broker的leader(主节点)、Kafaconsumer是否可以消费指定分区消息、Kafka消息是采用Pull模式，还是Push模式等17道Kafka面试题
kafka demo 两种线程消费方式
04-25
kafka学习过程，maven工程，包含基础过程、提升过程。可供大家学习一下，里面有详细注释，一个groupid多个Consumer来消费消息和一个Consumer且有多个线程消费
Kafka点对点-发布订阅模型介绍(初级入门二)
点滴记忆，分享成长之路
12-18 983
一、Kafka命令行生产者发送消息和消费者消费消息 创建topic ./kafka-topics.sh --create --zookeeper xx.xx.xx.160:2181 --replication-factor 1 --partitions 2 --topic wnn-topic •查看topic ./kafka-topics.sh --list --zookeeper xx.xx.xx.160:2181 •生产者发送消息 ./kafka-console-producer.sh --br
JAVA技术体系之分布式篇（五）——Kafka消息中间件
qsmiley10的博客
04-19 5802
1
Kafka作为消息系统的两种模式，与CAP理论
hccc1的专栏
07-15 1746
How does Kafka’s notion of streams compare to a traditional enterprise messaging system? Messaging traditionally has two models: queuing and publish-subscribe. In a queue, a pool of consumers may read...
Kafka下的生产消费者模式与订阅发布模式
nbdebuyaobuyao的博客
09-18 412
原文地址：https://blog.csdn.net/zwgdft/article/details/54633105   在RabbitMQ下的生产消费者模式与订阅发布模式一文中，笔者以“数据...
Apache Kafka-通过设置Consumer Group实现广播模式
小工匠
02-18 1万+
文章目录概述CodePOM依赖配置文件生产者消费者单元测试测速结果源码地址 概述 传统的消息传递模式有2种：队列( queue) 和（publish-subscribe） queue模式：多个consumer从服务器中读取数据，消息只会到达一个consumer publish-subscribe模式：消息会被广播给所有的consumer Kafka基于这2种模式提供了一种consumer的抽象概念： consumer group queue模式：所有的consumer都位于同一个consumer
字节架构师：来说说 Kafka 的消费者客户端详解，你都搞懂了吗？
公众号：该用户快成仙了
09-24 607
前言 前面讲解了 Kafka 的生产者，而与生产对应的就是消费者，程序中可以通过 KafkaConsumer 来订阅主题，并从订阅的主题中拉取消息。而 Kafka 中消费者比生产者多了个组的概念，也称消费者组，从而提升单机的消费速度。本文将介绍下消费者与消费者组的概念，然后再对客户端开发进行详细讲解。 一、消费者与消费者组 消费者负责订阅 Kafka 中的主题，并且从上面拉取消息，但与生产者不同的是它增加了消费者组的概念，这是因为很多时候 Kafka 的消费者在消费消息的时候经常会做一些高延时的动作，
Kafka基本架构介绍
01-27
有两种类型的消息模式可用-一种是点对点，另一种是发布-订阅(pub-sub)消息系统。大多数消息模式遵循pub-sub。（1）点对点消息系统在点对点系统中，消息被保留在队列中。一个或多个消费者可以消耗队列中的消息，但是...
Kafka知识点总结
weixin_57675897的博客
08-30 1428
kafka最全总结
kafka基本原理
专栏
08-03 1万+
一、kafka概述 1、定义 kafka是一个分布式的基于发布订阅模式的消息队列，主要用于大数据实时处理灵越 2、消息队列 【1】应用场景 用于异步、削峰、解耦 【2】两种模式 （1）点对点模式 ​ 一对一，消费者主动拉取数据。消息生产者将消息发送到queue中，然后消费者从queue中取出并消费消息，消息被消费者消费以后，queue中不在存储消息，所以消息消费者不可能重复消费已经被消费过的消息。queue支持存在多个消费者，即一个消费者组可以有多个消费者，但是消息只能被一个消费者消费。 （2）发布订阅
kafka广播和单播
热门推荐
qq_36042938的博客
01-29 2万+
使用Consumer high level API时，同一Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费，但多个Consumer Group可同时消费这一消息。 这是Kafka用来实现一个Topic消息的广播（发给所有的Consumer）和单播（发给某一个Consumer）的手段。一个Topic可以对应多个Consumer Group。如果需要...
详解Kafka消息队列的两种模式
qq_43437122的博客
09-03 3233
1. 点对点模式（一对一） 1）模式特点： 消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。消息被消费以后，queue中不再存储该条消息，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者消费。 2）数据拉取方式：消费者主动拉取。 3）模式缺点：消息不能被重复消费。 2. 发布/订阅模式（一对多） 1）模式特点： 消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该
Kafka
The Fifth Leaf 的博客
04-18 350
Kafka 1. 异步通信原理 1.1. 观察者模式 观察者模式（Observer），又叫发布-订阅模式（Publish/Subscribe） 定义对象间一种一对多的依赖关系，使得每当一个对象改变状态，则所有依赖于它的对象都会得到通知并自动更新。 一个对象（目标对象）的状态发生改变，所有的依赖对象（观察者对象）都将得到通知。 现实生活中的应用场景 京东到货通知 《鸡毛信》 1.2. 生产者消费者模式 传统模式 生产者直接将消息传递给指定的消费者 耦合性特别高，当生产者或者消费者发生
消息队列——kafka基础
qq_51936245的博客
06-04 2148
Kafka 是一个分布式的---基于发布/订阅模式的消息队列（Message Queue），主要应用于 大数据实时处理领域。发布/订阅模式​ 原文链接：https://blog.csdn.net/tjvictor/article/details/5223309​ 定义了一种一对多的依赖关系，让多个订阅者对象同时监听某一个主题对象。这个主题对象在自身状态变化时，会通知所有订阅者对象，使它们能够自动更新自己的状态。​将一个系统分割成一系列相互协作的类有一个很不好的副作用，那就是需要维护相应对象间的一致性。
消息队列之-Kafka原理讲解
wanglei_storage的博客
09-20 6950
一、入门 1.1 简介 一、入门 1.1 简介 Apache Kafka 是一个分布式流媒体平台 流媒体平台有三个关键功能 发布和订阅记录流，类似于消息队列或企业消息传递系统 以容错的持久方式存储记录流 记录发生时的处理流 Kafka 通常用于两大类应用： 构建可在系统或应用程序之间可靠获取数据的实时流数据管道 构建转换或相应数据流的实时流应用程序...
Kafka - 消息队列的两种模式
最新发布
小工匠
10-25 4872
这种模式适用于一对多的通信，其中消息的发送者不需要关心谁会接收消息，通常用于事件处理、日志记录和实时通知等场景。消息队列主要分为两种模式：点对点模式（一个生产者对口一个消费者）和发布/订阅模式（一对多）。这种模式适用于一对一的通信，其中生产者和消费者之间有直接的关联，通常用于任务分发和处理。在实际的消息队列系统中，可以根据需求选择合适的模式来实现不同类型的消息传递。这两种模式有各自的优势和适用性，选择哪种模式取决于应用程序的需求。消息队列确实可以根据消息传递的模式分为。
kafka confirm模式
06-02
Kafka 的 confirm 模式是生产者在发送消息时，会异步等待 Kafka 集群的确认，确认消息已经写入到 Kafka 中。确认消息写入成功后，生产者会收到一个回调通知。 Kafka 的 confirm 模式有两种实现方式：异步模式和同步模式。 1. 异步模式 在异步模式下，生产者发送消息后会立即返回，不会等待 Kafka 的确认。当 Kafka 成功接收到消息并写入到分区中后，会异步通知生产者。生产者可以通过回调函数来处理这些通知，以便进行一些额外的操作或记录日志。 异步模式的优点是发送消息速度快，但无法保证消息一定写入到 Kafka 中。 2. 同步模式 在同步模式下，生产者发送消息后会等待 Kafka 的确认。如果消息成功写入到 Kafka 中，生产者会继续发送下一条消息。如果消息写入失败，则会抛出异常。 同步模式的优点是能够保证消息一定写入到 Kafka 中，但发送消息的速度会慢一些，因为需要等待 Kafka 的确认。 可以通过在生产者的配置中设置 `acks` 参数来控制 confirm 模式的级别。`acks` 参数可以设置为 0、1 或 all。当 `acks=0` 时，生产者不会等待 Kafka 的确认，直接发送下一条消息；当 `acks=1` 时，生产者会等待 Kafka 的确认，但只需要确认消息已经写入到分区的 leader 副本中；当 `acks=all` 时，生产者会等待 Kafka 的确认，需要确认消息已经写入到所有的副本中。 需要根据实际情况选择 confirm 模式的实现方式和级别。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值