kafka学习一-kafka消费模式

最新推荐文章于 2024-02-04 11:44:58 发布
最新推荐文章于 2024-02-04 11:44:58 发布
阅读量1.4k 收藏
点赞数
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35930102/article/details/107751183
版权

1 点对点模式

消息生产者把消息发送到Queue中，然后消费者从Queue中取出并且消费消息。消息被消费后Queue中不再存储，所以一个消息只可以被一个消费者消费。

2 发布订阅模式

生产者把消息发布到topic中，同时有多个消费者订阅该topic。和点对点不同，该消息会被所有的消费者消费
发布订阅有两种

2.1 消费者主动拉取消息

好处是消费者消费速度可以由消费者来确定。缺点是需要建立一个长轮询，不断的问消息，比较浪费资源。

2.2 队列主动推送

消息消费速度由队列决定。但是下游消费者消费能力参差不齐，如果推的速度过快则消费能力低的消费者容易崩溃，如果推送速度过慢则消费者不能充分消费。
kafka采用的是消费者主动拉取消息

孟诸
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka-streams-bbl
02-10
丹斯·莱斯·格兰德·莱格斯计划 Kafka-streams庆子 卡夫卡101 生产者，消费者，经纪人 主题和分区 消费群体 并行模式 Qu'est-ce Qu'un流 lib Java标准 水平缩放 流处理拓扑 示例＃1-大写-JE Drive 尖峰主题管理先锋（sinon erreur audémarrage） docker exec -it kafka kafka-topics --create \ --bootstrap-server kafka:9092 \ --replication-factor 1 \ --partitions 1 \ --topic to-uppercase-input docker exec -it kafka kafka-topics --create \ --bootstrap-server
kafka
小草莓的博客
06-16 1461
kafka
「Kafka」消费者篇
最新发布
How many ten years in the life time?
02-04 1513
Kafka 消费方式、Kafka 消费者工作流程、生产经验—分区的分配以及再平衡、offset 位移、生产经验—消费者事务、生产经验—数据积压（消费者如何提高吞吐量）等内容。
Kafka学习之路 （一）Kafka的简介
lisheng19870305的专栏
09-15 514
Kafka学习之路 （一）Kafka的简介 目录 一、简介 1.1　概述 1.2　消息系统介绍 1.3　点对点消息传递模式 1.4　发布-订阅消息传递模式 二、Kafka的优点 2.1　解耦 2.2　冗余（副本） 2.3　扩展性 2.4　灵活性&峰值处理能力 2.5　可恢复性 2.6　顺序保证 2.7　缓冲 2.8　异步通信 三、常用Message Queue对比 3.1　RabbitMQ 3.2　Redis 3.3　Zer
Kafka学习(三)
weixin_43700340的博客
03-31 702
一.Kafka命令行生产者发送消息和消费者消费消息实战 创建topic ./kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 1 --partitions 2 --topic xdclass-topic 查看topic ./kafka-topics.sh --list --zookeeper ip:2181 生产者发送消息 /kafka-console-producer.sh --broker-list ip:9092
Kafka内容总结
qq_45054784的博客
09-22 9198
一、kafka的消费模式 Kafka的消费模式主要有两种：一种是一对一的消费，也即点对点的通信，即一个发送一个接收。第二种为一对多(发布/订阅模式)的消费，即一个消息发送到消息队列，消费者根据消息队列的订阅拉取信息消费。 发布/订阅模式：即利用Topic存储消息，消息生产者将消息发布到Topic中，同时有多个消费者订阅此topic，消费者可以从中消费消息，注意发布到Topic中的消息会被多个消费者消费，消费者消费数据之后，数据不会被清除，而是按照时间策略来删除，Kafka会默认保留一段时间，然后再删除。
大数据-kafka学习（五）——消费者
jizhibing的博客
04-14 2494
一、KAfka消费方式 1、pull（拉）模式： consumer 采用从broker中主动拉取数据， Kafka 采取这种方式 2、push（推）模式： Kafka 没有采用这种方式，是因为由broker决定消费发生速率，很难适应所有消费者的消费速率。例如推送的速度是50m/sConsumer1、Consumer2就来不及处理消息。 Pull模式不足之处是，如果kafka没有数据，消费者可能陷入循环中，一直返回空数据。 二、消费者总体工作流程 三、消费者组 Consumer G.
kafka消费的三种模式_快速认识Kafka
热门推荐
weixin_33567029的博客
12-03 1万+
1.Kafka是什么 简单的说，Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)。kafka的架构师jay kreps非常喜欢franz kafka,觉得kafka这个名字很酷，因此将linkedin的消息传递系统命名为完全不相干的kafka，没有特别含义。2.解决什么问题kafka开发的主要初衷目标是构建一个用来处理海量日志，用户行为和网站运营统计等的数...
Kafka消费者详解
晓晓的天空
04-03 3813
Kafka消费者详解
【kafka从入门到精通】
zhangleiQAQ的博客
05-25 481
快速入门Kaka从入门到入土
快速学习-Kafka概述
01-07
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 1.2 消息队列 1.2.1 传统消息队列的应用场景 使用消息队列的好处 1）解耦 允许你独立的扩展或修改两边的处理...
kafka模拟生产者消费者(集群模式)实例
04-27
kafka模拟生产者、消费者，集群模式，若是单机版，将ip端口组改为相应ip端口即可；
大数据采集技术-Kafka的消费模式.pptx
12-23
大数据采集技术与应用
kafka demo 两种线程消费方式
04-25
kafka学习过程，maven工程，包含基础过程、提升过程。可供大家学习一下，里面有详细注释，一个groupid多个Consumer来消费消息和一个Consumer且有多个线程消费
kafka学习十一-事务消息
qq_35930102的博客
08-23 4199
1 Exactly Once语义 将服务器的ACK设置为-1，可以保证Procedure到broker不会丢失数据即At Least Once；相对的，服务器级别设置为0，可以保证生产者发送消息只会发一次，即At Most Once语义 但是，一些非常重要的消息，如交易数据，下游消费者要求消息不重不漏，即Exactly Once，精准一次，在0.11版本之前，kafka是无能为力的，只能通过设置ACK=-1，然后业务消费者自己去重。 0.11版本之后，kafka引入了幂等性概念，procedure无论向b
kafka学习十二-生产者发送消息
qq_35930102的博客
08-23 1069
目录 1 发送消息流程 2 发送消息API 2.1 设置properties 2.2 生产者发送消息 2.3 自定义分区策略 2.4 自定义拦截器 2.4.1 核心方法介绍 2.4.2 代码示例 1 发送消息流程 kafka Procedure发送消息采用的是异步发送方式，消息发送过程中涉及到两个线程，Main线程和Sender线程，以及一个共享变量RecordAccumulator。main线程把消息发送给RecordAccumulator，Sender线程不断从RecordAccum
kafka学习七-数据一致性问题
qq_35930102的博客
08-22 635
1 LEO和HW 这样一个场景 leader写了10条数据 follower1同步了8条 follower2同步了9条 假如leader挂了，follower1或follower2任意一个当选为leader，则会出现数据不一致的情况。 为了解决这个问题，kafka维护了LEO和HW两个数据 如果没有HW这个概念，假如消费者消费到leader的offset=18的数据挂了，然后新选出的leader没有18的数据，消费者消费不到就会有问题。 有了HW后，消费者最多看到HW，如果leader挂掉，任意一个fol
kafka学习十三-消费者消费数据
qq_35930102的博客
08-23 566
1 自动提交的问题 1.1 消息丢失 由于自动提交是每隔一段时间提交一次，假如消费者拉到一批数据，刚处理一部分就提交了，然后挂掉了，这个时候未消费的那批数据就彻底丢失了，因为offset已经提交了，不会重新消费。 1.2 消息重复 同样的，消费者拉到一批数据，刚处理一部分没有提交，然后挂掉了，这个时候已经消费的那批消息会被再次消费。 2 手动消费问题 手动消费只会造成消息重复，不会造成消息丢失，消息重复原因和自动提交原因一样 3 代码实现 3.1 设置properties public
kafka-client点到点消费实战简书
12-08
Kafka是一个分布式消息系统，可以实现高吞吐量、可扩展、持久化的消息传递。它采用了发布-订阅模式，允许多个生产者将消息发布到一个或多个主题（topic），再由多个消费者订阅主题并消费消息。 在Kafka中，点到点消费是一种消息消费方式。它指的是每个消息只能被一个消费者处理，即消费者群组中只有一个消费者能够接收和处理这个消息。 使用Kafka的点到点消费模式，可以实现高效灵活的消息处理。下面是一种在Kafka中实施点到点消费的简书： 1. 创建Kafka主题：首先，需要创建一个Kafka主题（topic），用于存储待消费的消息。可以使用Kafka提供的命令行工具或编程语言中的Kafka客户端API进行创建。 2. 编写生产者：编写一个生产者程序，用于向Kafka主题发送消息。生产者可以使用Kafka客户端API实现，将消息发送到指定的主题。 3. 编写消费者：编写一个消费者程序，用于从Kafka主题消费消息。消费者可以使用Kafka客户端API实现，订阅指定的主题并处理接收到的消息。 4. 设定消费者群组：为了确保点到点的消息消费，可以为消费者程序设置一个唯一的群组ID。这样，同一个群组ID下的消费者将共享消息的消费，每条消息只会被群组中的一个消费者处理。 5. 消费消息：启动消费者程序，它将连接到Kafka集群，并开始消费指定主题中的消息。Kafka会按照消息的顺序，将消息分配给不同的消费者进行处理。 通过以上步骤，我们就可以在Kafka中实现点到点的消息消费。生产者发送消息到Kafka主题，消费者从主题中消费消息，并进行相应的处理。这种方式能够保证每条消息仅被一个消费者处理，实现了点到点的消息传递。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值