kafka发送失重试机制解读

最新推荐文章于 2024-03-18 16:51:07 发布
最新推荐文章于 2024-03-18 16:51:07 发布
阅读量2.1k 收藏 3
点赞数
分类专栏： # kafka
原文链接：https://blog.csdn.net/feelwing1314/article/details/81206506
版权

kafka重试机制解读

  1. new KafkaProducer()后创建一个后台线程KafkaThread扫描RecordAccumulator中是否有消息；
  2. 调用KafkaProducer.send()发送消息，实际上只是把消息保存到RecordAccumulator中；
  3. 后台线程KafkaThread扫描到RecordAccumulator中有消息后，将消息发送到kafka集群；
  4. 如果发送成功，那么返回成功；
  5. 如果发送失败，那么判断是否允许重试。如果不允许重试，那么返回失败的结果；如果允许重试，把消息再保存到RecordAccumulator中，等待后台线程KafkaThread扫描再次发送（还是发送到原来的分区）；
紫金小飞侠
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Kafka：消费者消费失败处理-重试队列
程序员无羡的博客
04-02 4878
Kafka：消费者消费失败处理-重试队列
kafka及其性能测试
01-22
kafka及其性能测试 kafka及其性能测试 kafka及其性能测试 kafka及其性能测试 kafka及其性能测试 kafka及其性能测试
kafka数据可靠性深度解读
02-25
Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark等都支持与Kafka集成。Kafka凭借着自身的优势，越来越受到互联网企业的青睐，唯品会也采用Kafka作为其内部核心消息引擎之一。Kafka作为一个商业级消息中间件，消息可靠性的重要性可想而知。如何确保消息的精确传输？如何确保消息的准确存储？如何确保消息的正确消费？这些都是需要考虑的问题。本文首先从Kafka的架构着手，先了解下Kafka的基本原理，然后通过
向kafka插入数据测试
07-12
向kafka插入数据测试
kafka什么情况下会认为发送失败进而去重试
最新发布
qq_36042938的博客
03-18 645
在Kafka中，发送消息的过程是异步的，即消息后不会立即得到发送结果。Kafka会将消息添加到发送缓冲区，并立即返回一个成功的响应。因此，Kafka并不会直接知道消息是否成功发送到了目标主题的分区。需要注意的是，Kafka的重试机制是有限制的。在重试过程中，如果达到了最大重试次数或者超过了最大重试时间，Kafka会放弃重试，并将消息标记为发送失败。
Kafka生产者同步和异步的JavaAPI代码演示
zxr0130的博客
10-08 1123
导入Maven的pom依赖 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>1.0.0</version> </dependen
Kafka总结
weixin_43846880的博客
04-29 4359
Kafka
一文理解Kafka如何消息不丢失
全菜工程师小辉的博客
06-16 332
本文只聚焦于Kafka系统的消息丢失，如果是生产环境出现数据丢失，排查时要先从链路上分段定位，缩小问题范围。如果对Kafka不了解的话，可以先看这篇博客《一文快速了解Kafka》。数据丢失...
Kafka中的生产者如何处理消息发送失败的情况？
wzxue1984的博客
07-31 1945
通过以上方式，开发者可以对Kafka生产者的消息发送过程进行处理和管理，根据不同的失败情况采取相应的策略，确保消息发送的可靠性和稳定性。请根据具体的需求和业务场景选择适合的处理方式。
怎样查看kafka写数据送到topic是否成功
qq_33192454的博客
09-15 1182
属性来控制确认级别。当设置为 1 或 all 时，生产者会等待主题的 leader 和副本确认消息的写入，从而确保消息被成功写入到 Kafka。如果写入失败，生产者将会重试发送消息，直到达到确认级别。请注意，Kafka 是一种分布式消息系统，消息的写入和确认可能涉及多个节点和异步操作。：创建一个 Kafka 消费者，订阅您要监控的主题，然后检查消费者是否能够消费到已经写入的消息。您可以查看 Kafka 服务器的日志，以检查消息是否已经被写入主题。您可以通过检查这个对象是否成功完成来确认消息是否被成功写入。
Kafka消息发送失败的常见原因及解决方案
qq_44912620的博客
11-03 2414
异步确认：生产者在发送消息后不等待Kafka服务器的确认响应，而是立刻发送下一条消息。Kafka生产者可以设置重试次数和重试间隔时间，当消息发送失败时，Kafka生产者将自动进行重试。- 同步确认：生产者在发送消息后，等待Kafka服务器的确认响应，直到收到确认响应之后才继续发送下一条消息。这种方式可以保证消息的可靠性，但会影响消息发送的效率。如果Kafka生产者将消息发送到一个不可用的分区副本，那么消息发送就会失败。Kafka默认有消息大小的限制，如果消息大小超过了限制，那么消息发送就会失败。
kafka 数据可靠性深度解读.pdf
01-08
总结kafka数据可靠性与一致性实现方式，对需要深入学习kakfa的同学有极大帮助，包含架构解析、leader选举、存储格式、HW、ACK等有详细的描述
kafka 发送和接收消息
03-01
消息中间件kafka 进行消息的分发和接收示例 应用中包含分通道发送和多线程接收
kafka-python批量发送数据的实例
09-19
今天小编就为大家分享一篇kafka-python批量发送数据的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
kafka测试推送实例
06-13
kafka测试推送实例
c#kafka 发送与接收
12-09
c# kafka 发送端与接收 完整demo 生成 消费
kafka存储机制.docx
11-02
kafka存储机制
php测试kafka项目示例
12-19
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献...
JMeter测试Kafka插件kafkameter-0.2.0.jar
10-17
使用JMeter发送数据到Kafka需要用到的jar包，用于在JMeter Java Request中新增一个Kafka相关的类。 使用7zip解压，得到kafkameter-0.2.0.jar
kafka异步重试机制
04-28
Kafka供了一种异步重试机制，可以用来处理发送到Kafka集群的消息发送失败的情况。当一个消息发送失败时，Kafka会将这个消息放入一个重试缓冲区，然后在指定的时间间隔后再次尝试发送。如果消息在指定的时间间隔后仍然发送失败，Kafka会再次将其放入重试缓冲区，并且增加重试次数。这个过程会一直重复，直到消息被成功发送或者达到了最大的重试次数。 在Kafka中，异步重试机制可以通过配置producer的参数来实现。其中，重要的参数包括： 1. retries：设置重试的次数，默认为0。如果设置为大于0的值，那么当消息发送失败时，Kafka会自动尝试重发。 2. retry.backoff.ms：设置重试的时间间隔，默认为100毫秒。如果消息发送失败，Kafka会在这个时间间隔后再次尝试发送。 3. max.in.flight.requests.per.connection：设置允许同时发送的未确认消息的最大数量，默认为5。如果设置得太小，可能会导致消息发送速度变慢。如果设置得太大，可能会导致Kafka集群负载过大。 通过合理地配置这些参数，可以实现Kafka的异步重试机制，从而保证消息的可靠性和稳定性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值