Kafka实战：如何把Kafka消息时延秒降10倍

最新推荐文章于 2024-01-31 17:49:05 发布
最新推荐文章于 2024-01-31 17:49:05 发布
阅读量5.5k 收藏 3
点赞数 5
分类专栏： DMS 文章标签： Kafka 消息队列 时延
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/middleware2018/article/details/80270399
版权

背景

国内某大型税务系统，业务应用分布式上云改造。

 

业务难题

 

如上图所示是模拟客户的业务网页构建的一个并发访问模型。用户在页面点击从而产生一个HTTP请求，这个请求发送到业务生产进程，就会启动一个投递线程（Deliver Thread）调用Kafka的SDK接口，并发送3条消息到DMS（分布式消息服务），每条消息大小3k，需要等待3条消息都被处理完成后才会返回请求响应⑧。当消息达到DMS后，业务消费进程调用Kafka的消费接口把消息取出来，然后将每条消息放到一个响应线程(Response Thread)中进行处理，响应线程处理完后，通过HTTP请求通知投递线程，投递线程收到响应后返回回复响应。

 

100并发访问时延500ms，未达成用户业务要求

最低0.47元/天 解锁文章
中间件小哥
关注
  • 5
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Kafka延迟队列的实现方式
果酱 の 博客
07-28 7207
延迟队列是一种特殊的消息队列，可以将消息或任务推迟到指定的时间再进行处理。它通常用于处理需要在未来某个时间点执行的任务，如定时任务、延迟通知等。延迟队列允许开发人员根据任务的延迟要求进行灵活的调度和处理。本文介绍了如何使用Kafka实现延迟队列的两种方式。无论是使用消息的时间戳和消费者组，还是使用Kafka Streams的事件时间，都可以实现灵活的延迟队列功能。通过合理的设计和调度，我们可以在分布式系统中实现高效、可靠的延迟任务处理。希望本文对你理解Kafka延迟队列的实现方式有所帮助。
kafka入门实战教程看这篇就够了
最新发布
weixin_41821642的博客
05-21 418
Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue)，主要应用于大数据实时处理领域。**发布/订阅**:消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息 分为不同的类别，订阅者只接收感兴趣的消息。
springboot kafka 实现延时队列
热门推荐
qq_41889508的博客
04-21 4万+
延时队列的技术实现方案有：redis延时队列，Kafka延时队列，rabbit延时队列，Kafka延时队列等 本文章springboot kafka 实现延时队列，使用Kafka消费者的pause函数（暂停）和resume函数（恢复）+定时任务+事件监听机制+工厂。 延时任务的应用场景： 1，订单超时自动取消：用户下单后，如果在指定时间（半小时）内超时未完成支付，系统会自动取消订单，释放库存。 2，定时推送：比如消息通知，用户预约某个服务，系统会在服务开始前一定时间发送提醒短信。 3，定时任务 4，限时抢购
Kafka如何实现延迟队列？
m0_70734549的博客
12-12 1593
Kafka如何实现延迟队列？
kafka-lag-exporter:使用 Kafka Lag Exporter 监控 Kafka 消费者组延迟
08-04
使用 Kafka Lag Exporter 监控 Kafka 消费者组延迟 作为 Java 应用程序运行 作为 Docker 镜像运行 故障排除 Kafka ACL 所需的权限 估计消费者组时滞 Strimzi Kafka 集群观察者 使用 Grafana 进行监控 在没有 ...
基于臭氧的Kafka自适应调优方法ENLHS
07-07
Kafka应用在生产环境中时，除机器的硬件环境和系统平台影响其性能外，Kaka自身的配置项决定着其能否在硬件资源有限的情况下达到理想的性能，但人为修改和调优配置项的效率极差。海量数据发送到Kakα后，如果不针对...
signoz:开源的可观察性平台。 ig SigNoz帮助开发人员在已部署的应用程序中发现问题并快速解决
03-08
应用程序概述指标，例如RPS，第50/90/99％时延和错误率 应用程序中最慢的端点 查看确切的请求跟踪以找出下游服务中的问题，数据库查询缓慢，对第三方网关（如支付网关）的呼叫等 按服务名称，操作，延迟，错误，...
基于go 实现的分布式开源物联网MQTT消息服务器
04-29
CMQ 是一个开源的分布式 MQTT 消息平台，支持海量物联网设备一站式接入、MQTT&CoAP 多协议处理、低时延实时消息通信。通过开发自定义的规则引擎，可以将数据转发到其他消息中间件，比如 kafka 等； 整个平台使用 GO...
实时计算流计算
09-22
通向“亿万级”实时流计算之路，应用领域：时延敏感的应用领域
高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒；.txt
12-05
高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒；可扩展性：kafka集群支持热扩展；持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失；容错性：允许集群中节点故障（若副本数量为n,则允许n-1个节点故障）；高并发：支持数千个客户端同时读写。
kafka实现延迟队列
weixin_51991615的博客
01-31 2094
首先说一下延迟队列这个东西，实际上实现他的方法有很多，kafka实现并不是一个最好的选择，例如redis的zset可以实现，rocketmq天然的可以实现，rabbitmq也可以实现。如果切换前几种方案成本高的情况下，那么就使用kafka实现，实际上kafka实现延迟队列也是借用了rocketmq的延迟队列思想，rocketmq的延迟时间是固定的几个，并不是自定义的，但是kafka可以实现自定义的延迟时间，但是不能过多，因为是依据topic实现的，接下来我使用go实现简单的kafka的延迟队列。
【Kafka】【二十六】Kafka优化之实现延时队列
鸟人的博客
02-14 1589
订单创建后，超过30分钟没有⽀付，则需要取消订单，这种场景可以通过延时队列来实现。
java基础知识题库，赶紧收藏！
m0_56824583的博客
06-27 1367
Java基础 JDK 和 JRE 有什么区别？ == 和 equals 的区别是什么？ 两个对象的 hashCode()相同，则 equals()也一定为 true，对吗？ final 在 java 中有什么作用？ java 中的 Math.round(-1.5) 等于多少？ String 属于基础的数据类型吗？ java 中操作字符串都有哪些类？它们之间有什么区别？ String str="i"与 String str=new String(“i”)一样吗？ 如何将字符串反转？ String 类的常用方
Kafka过期时间TTL、延时队列、死信队列实现方案
wanger61的博客
10-18 2404
这里提供一种实现方案：将消息的 TTL 的设定值以键值对的形式保存在消息的 header 字段中，在消费者端配置拦截器，消费者在消费消息时判断此条消息是否超时。解决方式，提前记录这一批消息的最大偏移量，或在过滤之后的消息集中的头部或尾部设置一个状态消息，专门用来存放这一批消息的最大偏移量。Kafka 和 RabbitMQ 不同，Kafka的消息并没有TTL这一概念，因此想要实现消息的过期功能，需要作额外的处理。需要注意 RecordHeader 的值是 byte[]类型，因此需要进行转换。
kafka的延迟队列详细讲解
java架构师分享,有问题可以联系我
02-06 282
kafka的延迟队列详细讲解
kafka的延迟操作-pull操作详解
lixia0417mul2的博客
08-19 1012
kafka的延迟操作和正常我们服务端处理事件的方式不一样，我们服务器正常情况下处理数据都是尽可能快的返回当前的结果，但是kafka的延迟操作不一样： 比如生产者发送ack=-1的数据到服务端leader分区所在的主broker上，此时主broker在把消息写入本地文件后要进行等待，此时会创建一个延迟操作，等到其他副本broker同步了该消息并写入对应的日志文件后才会提前触发这个延迟操作的执行，否则需要等待超时时间到了之后再执行. 由此延伸出kafka消息拉消费模式的理解：其实拉的时效性和主动推送是差不多的，
为什么kafka延迟比rocketmq延迟高
JavaEdge全是干货的技术号
11-19 695
数据存储结构是主要原因，还有就是kafka只支持pull模式。而rocketmq有pull、push两种模式 （虽然这个push模式是假push），push模式延迟肯定是比pull模式延迟低。说kafka延迟比rocketmq延迟高 是有一个前提的 就是topic较多的时候 这个和这2个MQ的数据存储结构有关系的 在topic少的时候延迟基本一致。所以在topic比较多时，分区文件数量会非常庞大 磁盘顺序读效率还不如随机读效率，则会在topic比较多时 磁盘顺序读就蜕变为随机读，延迟也就高了。
Kafka 消息队列消息消费延迟解决方案
leehsiao的专栏
12-17 1万+
一、消息队列解决的问题： 引入消息队列一般能解决一下五种场景：异步处理，应用解耦，流量削锋，日志采集和消息通讯 1、异步处理 场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种 1.串行的方式；2.并行方式 （1）串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端 （2）并行方式：将注册信息写入数据库成功后，发送注...
Kafka报错：InstanceAlreadyExistsException
05-09
这个错误通常是因为在同一个命名空间或分组中已经存在一个相同名称的实例。可以尝试以下方法解决此问题： 1. 尝试更改实例的名称或命名空间，以确保唯一性。 2. 确保在创建实例之前，检查实例是否已经存在，如果存在则不再创建。 3. 检查Kafka服务是否已经启动，如果没有启动则需要先启动Kafka服务。 4. 检查代码中与实例相关的配置，确保没有重复的实例创建请求。 如果上述方法都无法解决问题，可以尝试重新启动Kafka服务或联系Kafka开发人员进行进一步的排查。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值