kafka的延迟操作-pull操作详解

最新推荐文章于 2023-07-03 00:12:04 发布
最新推荐文章于 2023-07-03 00:12:04 发布
阅读量1k 收藏
点赞数
分类专栏： kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lixia0417mul2/article/details/119792720
版权

kafka的延迟操作和正常我们服务端处理事件的方式不一样，我们服务器正常情况下处理数据都是尽可能快的返回当前的结果，但是kafka的延迟操作不一样：
比如生产者发送ack=-1的数据到服务端leader分区所在的主broker上，此时主broker在把消息写入本地文件后要进行等待，此时会创建一个延迟操作，等到其他副本broker同步了该消息并写入对应的日志文件后才会提前触发这个延迟操作的执行，否则需要等待超时时间到了之后再执行.
由此延伸出kafka消息拉消费模式的理解：其实拉的时效性和主动推送是差不多的，原因在于消费端在pull拉取消息的时候，如果当时还没有消息，那么kafka服务端会创建一个拉取的延迟操作，等到有消息写入broker端的时候消息数量满足时，kafka就会把数据返回给消费者,所以这里其实几乎和推送消息是一样的时效性.所以如果消费端是专门用一条线程来pull消息的话，实时性和服务端的主动推送几乎是一样的.

lixia0417mul2
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
图解 Kafka 生产者元数据拉取管理全流程
JavaShark的博客
07-02 887
今天这篇我们就来聊聊 生产者是会如何拉取和管理元数据的 ，带你梳理生产者元数据管理整体的源码分析脉络。认真读完这篇文章，我相信你会对 Kafka 生产获取和管理元数据源码有更加深刻的理解。这篇文章干货很多，希望你可以耐心读完。消息想从 Producer 端发送到 Broker 端，必须要先知道 Topic 在 Broker 的分布情况，才能判断消息该发往哪些节点，比如：「 Topic 对应的 Leader 分区有哪些 」、「 Leader分区分布在哪些 Broker 节点 」、「 Topic 分区动态变更
Kafka | kafka中的延时操作是什么？
俗人
11-28 440
收藏一波： https://blog.csdn.net/u013256816/article/details/89325701
【kafka】---kafka的pull模型
寻梦友的博客
09-12 2855
一、pull和push模型 消费系统主要有两种模型推送或消费消息。 push：优势在于消息实时性高，劣势在于没考虑comsumer消费能力和饱和情况，容易导致producer压垮consumer。 消息中转代理将消息推送到消费者后，标记这条消息已经消费，但这种方式无法保证消息被消费处理。如果要保证消息被处理，消息代理发送完消息后标记“已发送”，再消费者确认消费了回复后变成“已消费”。这需要消费中转代理记录所有消息状态，显然很不切合实际。 pull：优势在于可以控制消费速度和消费数量，保证comsumer不会
数据pull模式，多久调用一次，这个时间是通过什么因素来抉择出来的，调用失败了如何补偿，补偿的机制是什么？
阿啄debugIT
04-15 826
前言 数据pull模式，多久调用一次，这个时间是通过什么因素来抉择出来的，调用失败了如何补偿，补偿的机制是什么？ 互联网公司为什么都采用pull模式 消息队列的pull与push模式 数据pull模式，一听就是问“消息队列的pull与push模式”的认识，为什么单独提数据pull模式？那是因为在互联网公司，面对大吞吐量的消息队列，都是采用pull模式，而非broker push模式。 由于采用broker（服务端） push模式，客户端的性能会影响整个消息队列服务器的性能；而且采用broker
kafka深度解析（1）
bh_xiaoxinba的博客
08-07 396
pull vs push和传统的消息队列系统一样，producer向broker push数据；consumer从broker pull数据； push模式 push模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。push模式的目标是尽可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。 pull模式 pull模式可
kafka-schema-registry-client-6.2.2.jar
04-25
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=6.2.2 -Dfile=/root/kafka-schema-registry-client-6.2.2.jar -Dpackaging=jar 官网下载地址 packages....
kafka-2.12-3.6.1.tgz
最新发布
12-19
/usr/local/kafka_2.12-3.6.1/bin/kafka-topics.sh --create --topic my-topic --partitions 3 --replication-factor 2 --if-not-exists --zookeeper localhost:2181 ``` 七、生产消息 创建一个简单的消息生产者，...
kafka-2.13-3.4.0.tgz
02-10
Kafka提供了命令行工具和Web界面（Kafka Manager）来监控和管理集群状态，包括查看主题、消费者、生产者的状态，调整配置，以及进行数据清理等操作。 总结来说，Kafka以其强大的分布式能力、高吞吐量和消息持久化...
kafka-eagle-bin-2.1.0.tar.gz
07-05
4. 启动：执行`bin/kafka-eagle-start.sh`启动服务，使用`bin/kafka-eagle-stop.sh`停止服务。 5. 访问：在Web浏览器中输入`http://服务器IP:端口`，按照提示进行登录和操作。 ### 使用注意事项 1. 确保运行环境已...
kafka_2.12-3.3.1.tgz
10-04
- `bin`目录：包含了启动和管理Kafka服务的脚本，如`kafka-server-start.sh`、`kafka-console-producer.sh`和`kafka-console-consumer.sh`。 - `config`目录：包含默认配置文件，如`server.properties`（配置Kafka ...
02-kafka中的push和pull设计
my_momo_csdn的博客
06-27 2304
文章目录kafka中的push和pull设计一、生产者到broker二、broker到消费者 kafka中的push和pull设计 一、生产者到broker 生产者push消息到broker，采用推模式，生产者将消息推送给消费者。 push模式的目标是尽可能以最快速度传递消息。生产者采用pull的话，不是很适合有成千上万的生产者的情况，假如生产者写入日志，broker从日志中pull，当生...
Kafka的概念与命令操作
qq_36535196的博客
03-08 152
Producer ：消息生产者，就是向kafka broker发消息的客户端。 Consumer ：消息消费者，向kafka broker取消息的客户端 Topic:目标发送的目的地，是一个逻辑概念，落到磁盘上是多个partition,一个partition对应多个segment组合(index,log) 一个segment默认1G 如果partit...
kafka的push、pull分别有什么优缺点
青山师
04-29 3138
在 Kafka 中，生产者使用 push 模式将消息推送给 Kafka 集群，而消费者则使用 pull 模式从 Kafka 集群中拉取消息。本文对 Kafka 的 push 和 pull 两种模式进行比较，分析其优缺点。Pull 模式是 Kafka 新增的方式，使用该模式时，消费者可以自主选择从哪个分区开始拉取消息，并可以自主控制拉取消息的速度。Kafka 中为消费者维护着一个 offset，表示消费者已经消费的消息序号，当消费者拉取消息时，Kafka 会返回该消费者还没有消费的消息。
Kafka 消费者读取数据
程序猿进阶
04-23 4664
消费者不需要自行管理 offset（分组+topic+分区），系统通过 broker 将 offset 存放在本地。低版本通过 zk 自行管理。系统自行管理分区和副本情况。消费者断线后会自动根据上一次记录的 offset 去获取数据（默认一分钟更新一次 offset），同一个分组中的客户不能同时消费同一个分片。不同的 group 记录不同的 offset，这样不同程序读取同一个 topic 才不会因为 offset 互相影响。 一、消费者组 分区的所有权从一个消费者转移到另一个消费者，这样的行为称为
【Kafka面试题1】Kafka消费者是pull(拉)还是push(推)模式，这种模式有什么好处？
weixin_43950588的博客
07-03 1754
【Kafka面试题1】Kafka消费者是pull(拉)还是push(推)模式，这种模式有什么好处？
大数据-kafka学习（五）——消费者
jizhibing的博客
04-14 2723
一、KAfka消费方式 1、pull（拉）模式： consumer 采用从broker中主动拉取数据， Kafka 采取这种方式 2、push（推）模式： Kafka 没有采用这种方式，是因为由broker决定消费发生速率，很难适应所有消费者的消费速率。例如推送的速度是50m/sConsumer1、Consumer2就来不及处理消息。 Pull模式不足之处是，如果kafka没有数据，消费者可能陷入循环中，一直返回空数据。 二、消费者总体工作流程 三、消费者组 Consumer G.
Kafka消息中间件面试专题
qq_35068291的博客
03-22 175
1.Kafka 的设计时什么样的呢？ Kafka 将消息以 topic 为单位进行归纳 将向 Kafka topic 发布消息的程序成为 producers. 将预订 topics 并消费消息的程序成为 consumer. Kafka 以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个 broker. producers 通过网络将消息发送到 Kafka 集群，集群向消费者提供消息 2.数据传输的事物定义有哪三种？ 数据传输的事务定义通常有以下三种级别： （1）最多一次: 消息不会被重复发送，最多
Kafka学习总结（二）
KevinChen2019的博客
04-22 165
Kafka消费者 一、消费方式 consumer 采用 pull（拉）模式从broker中读取数据。 push（推）模式很难适用于消费速率不同的消费者，因为消息发送速度由broker决定，它的目标时尽可能以最快的速度发送消息，但是这样很容易造成consumer来不及处理消息，典型的表现是拒绝服务以及网络堵塞，而pull模式可以根据consumer的消费能力以适当的速度消费消息。 pull模式不足之处是，如果Kafka没有数据，消费者可能会陷入循环中（空轮询），一直返回空数据，针对这一点，Kafka的消费者在
kafka深入理解（三）之消费者
qq_42682991的博客
08-01 742
一、消费方式 kafka的消费者采用拉取的方式从队列中获取消息，因为推送的方式消息发送的速率是由消费者端决定的，其很难匹配消费者端的速率。有的消费者端速率很慢不能全部接收到队列中所推送的消息，有的消费者端速率很快则会造成资源的浪费。但是消费者拉取消息的方式也存在缺点，就是需要维护一个长时间的轮询，消费者一消费完消息后便需要不断地询问队列中是否有新的消息，这样对资源也是一种浪费。Kafka中有一种时间的机制，即消费者查询过一次后没有新的消息的话就会间隔一段时间再去询问，这个时间的长度是由时长参数 timeo
kafkapython教程-Kafka快速入门（十二）-Python客户端.pdf
06-11
该文档是关于Kafka Python客户端的教程，主要介绍了一个名为confluent-kafka...这篇教程为开发者提供了使用Python操作Kafka的指导，涵盖了从库的选择、安装到基本API的使用，是学习Kafka Python客户端的良好参考资料。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值