Kafka 的消息异常情况~追日

已于 2022-03-07 20:44:14 修改
阅读量2.9k 收藏 1
点赞数
文章标签： kafka 中间件
于 2022-03-07 16:25:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44012853/article/details/123333302
版权
本文探讨了Kafka在消息传递中可能出现的问题，包括消息丢失、重复消费、乱序、积压、延时队列、回溯和分区对吞吐量的影响。针对这些问题，文章提供了相应的解决方案，如调整acks配置、实现消费幂等性、管理和优化分区数量等。
摘要由CSDN通过智能技术生成

Kafka 的消息异常情况

1.消息丢失情况

消息发送端 Producer

(1) acks=0: 表示 Producer 不需要等待任何 broker 确认收到消息的回复, 就可以继续发送下一条消息. 性能最高, 但是最容易丢消息. 对性能要求很高但对数据丢失不敏感的情况可以用这种模式.

(2) acks=1: 至少要等待 Leader 已经成功将数据写入本地 log, 但是不需要等待所有 Follower是否成功写入. 就可以继续发送下一条消息. 这种情况下, 如果 Follower 没有成功备份数据同时 Leader挂掉, 则会导致消息丢失.

（3）acks=-1或all: Leader 需要等待所有备份 (min.insync.replicas 配置备份个数参数设置)都成功写入日志, 这种策略会保证只要有一个备份存活就不会丢失数据. 如果 min.insync.replicas配置的是1则也可能丢消息, 类似于 acks=1情况.

消息消费端 Consumer

如果消费这边配置的是自动提交, 万一消费到数据还没处理完, 就自动提交 offset 了, 但是此时 Consumer 直接宕机了, 未处理完的数据丢失, 下次也消费不到.

2.消息重复消费

消息发送端 Producer

发送消息如果配置了重试机制, 比如网络抖动时间过长导致发送端发送超时, 实际broker可能已经接收到消息, 但发送方会重新发送消息

消息消费端 Consumer

如果消费这边配置的是自动提交, 刚拉取了一批数据处理了一部分, 但还没来得及提交, 服务

最低0.47元/天 解锁文章
熊孩子来啦
关注
【kafka异常】kafka 常见异常处理方案(持续更新! )
石臻臻的杂货铺(szzdzhp001)
07-16 9989
The leader epoch in the request is older than the epoch on the broker -- Partition $topicPartition marked as failed 说明 当前分区的Leader的epoch比Broker的epoch老 所以导致follow去fetchleader的时候报错； 只要重新发生一下Leader选举就行了; ......
Kafka 消息保留策略及其影响详解
weixin_44976692的博客
06-01 2万+
Kafka 的消息保留策略对系统的性能和稳定性有重要影响。合理配置消息保留时间需要综合考虑磁盘空间、数据丢失风险和系统性能等因素。对于高并发、大数据量的应用场景，建议通过监控和优化，确保消费者能够在消息保留时间内处理完所有消息，并根据实际需求调整保留时间。Kafka 的消息保留策略对系统的性能和稳定性有重要影响。合理配置消息保留时间需要综合考虑磁盘空间、数据丢失风险和系统性能等因素。对于高并发、大数据量的应用场景，建议通过监控和优化，确保消费者能够在消息保留时间内处理完所有消息，并根据实际需求调整保留时间。
在idea中往Kafka发送消息失败
m0_69303392的博客
10-09 1225
今天在学习Kafka整合Springboot项目的时候，往Kafka发送消息，消费者一直消费不到，后来发现是idea没有连接到虚拟机的，一直在找本机的ip地址，但我yml里面是配的虚拟机的ip地址，一直连接不上去。后来发现更改server.properties里面的配置，重启之后就可以了。
Kafka 常见问题与解决
最新发布
Flying_Fish_roe的博客
09-25 1119
Kafka 是一个高性能的分布式消息流处理平台，广泛用于实时数据处理、大规模日志收集和事件驱动架构。然而，由于 Kafka 的分布式特性、复杂的配置以及多种应用场景，使用过程中可能会遇到一些常见问题。
kafka发送消息出错，提示连接超时无法发送
寂夜了无痕的博客
08-02 2万+
正文开始:       最近看了下kafka  。Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像H...
Kafka消息发送失败解决方案
huyl08的博客
06-27 5901
kafka是吞吐量比较大的消息队列，但是在使用过程中，容易遇到各种各样的坑，现列举如下，帮助大家避免踩雷。 笔者在探索过程中，遇到过kafka-python发送成功，但是消费者端仍然收不到数据的问题，日志一切正常，血泪历史如下。 不定期更新中。
Kafka producer无法发送消息解决办法
hutonm的博客
11-24 1万+
在虚拟机搭建了kafka集群，在集群内使用Shell可以成功发送消息创建Topic。 但是在外部使用API无法发送消息，但是能创建topic 具体原因Hostname and port the broker will advertise to producers and consumers. If not set, it uses the value for “listeners” if co
kafka消息可视化查看工具
04-11
1.可用于查看kafka内的消息数据，消息的偏移量，消费分组数等信息。 2.主要用于开发调试，勿过于依赖辅助工具，命令使用才是根本。
Kafka 消息保留时长由 24 小时变更为 72 小时的影响分析
热门推荐
weixin_44976692的博客
06-05 3万+
将 Kafka 消息保留时长从 24 小时增加到 72 小时，可能会导致 CPU 使用率增加，主要原因包括增加的磁盘 I/O 操作、降低的页缓存命中率、JVM 垃圾回收负担增加以及 Broker 负载增加。通过监控和分析具体原因，并优化硬件资源、Kafka 配置和 JVM 设置，可以有效减少 CPU 使用率，确保 Kafka 集群的高效运行。这篇博客希望能够帮助你理解 Kafka 消息保留时长变更带来的影响，并提供相应的优化方案。如果你有任何疑问或需要进一步的帮助，请随时联系。
Kafka消息发送失败的常见原因及解决方案
qq_44912620的博客
11-03 3886
异步确认：生产者在发送消息后不等待Kafka服务器的确认响应，而是立刻发送下一条消息。Kafka生产者可以设置重试次数和重试间隔时间，当消息发送失败时，Kafka生产者将自动进行重试。- 同步确认：生产者在发送消息后，等待Kafka服务器的确认响应，直到收到确认响应之后才继续发送下一条消息。这种方式可以保证消息的可靠性，但会影响消息发送的效率。如果Kafka生产者将消息发送到一个不可用的分区副本，那么消息发送就会失败。Kafka默认有消息大小的限制，如果消息大小超过了限制，那么消息发送就会失败。
kafka什么情况下会认为发送失败进而去重试
qq_36042938的博客
03-18 1110
在Kafka中，发送消息的过程是异步的，即消息后不会立即得到发送结果。Kafka会将消息添加到发送缓冲区，并立即返回一个成功的响应。因此，Kafka并不会直接知道消息是否成功发送到了目标主题的分区。需要注意的是，Kafka的重试机制是有限制的。在重试过程中，如果达到了最大重试次数或者超过了最大重试时间，Kafka会放弃重试，并将消息标记为发送失败。
kafka推送消息失败的问题
weixin_39694116的博客
03-30 987
经过排查发现每次推往服务器A的消息都丢失了，到A服务器下data/logs/topic名称 目录下的log文件一直是0大小，也就是说这个分片的消息都没有成功发布，最后确定原因是，A集群kafka的配置里多了min.insync.replicas=2，表示的意思是消息至少必须要有2个副本，但是默认我的这个topic是1个副本的，所以这里消息一直没发布成功，把这条注释掉后解决问题。topic没有事先创建，直接使用生产者推送生成，默认创建的topic是1个replication 和3个partition。
C++ 向kafka中发送数据
qq_37845417的博客
11-12 5656
kafka是一个分布式流处理的平台，通过kafka我们可以发布和订阅流式记录。有关kafka的介绍可以参考官网或者这篇文章https://juejin.im/post/6844903495670169607，介绍的非常的详细。 我个人喜欢把kafka当做数据库去理解，因为它也有存放数据的功能，但是还是与数据库是不一样的。 kafka中多个broker称为一个集群，一个broker（独立的kafka服务器）中可以创建不同的topic（主题），topic下可以建立多个partition（分区），数据则存放在分区
kafka消息丢失原因及解决方案
YoungJ_Zhou的博客
07-04 1万+
kafka丢失数据原因及解决方案
线上问题-kafka生产者发送消息总是失败
DRD
08-26 1万+
问题解决过程 线上一个界面发现老是没有数据，排查下来时生产者没有成功发送消息所致，报错如下： org.springframework.kafka.core.KafkaProducerException: Failed to send; nested exception is org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 0 ms. 我们发现配置里有一个很奇怪的参数 config.p
Kafka--消息丢失--原因/解决方案/零丢失的配置
Hello World
08-26 1258
Kafka--消息丢失--原因/解决方案/零丢失的配置
kafka消息重复和丢失的场景及解决方案分析
四美的博客
04-11 1071
消息重复和丢失是kafka中很常见的问题，主要发生在以下三个阶段： 生产者阶段 broke阶段 消费者阶段 生产者阶段重复场景 根本原因 生产发送的消息没有收到正确的broke响应，导致producer重试。 producer发出一条消息，broke落盘以后因为网络等种种原因发送端得到一个发送失败的响应或者网络中断，然后producer收到一个可恢复的Exception重试消息导致消息重复。 重试过程 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bca8dl5i-161
kafka发送消息失败错误
gaofeng的博客
12-30 6923
问题 在模拟进行kafka的生产者发送消息时，发送完消息消费者迟迟接收不到。等到了6000ms超时时间时，生产者端报超时 ERROR Error when sending message to topic gaofengTest2 with key: null, value: 4 bytes with error: (org.apache.kafka.clients.producer.inte...
kafka 本地编写 生产者发送消息失败
weixin_38205301的博客
04-22 1990
本地编写生产者运行后，报错： log4j:WARN No appenders could be found for logger (kafka.utils.VerifiableProperties). log4j:WARN Please initialize the log4j system properly. Exception in thread "main" kafka.common.Fa...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值