Failed to send data to Kafka: Expiring 89 record(s) ...30005 ms has passed since last append

最新推荐文章于 2023-07-20 19:30:58 发布
最新推荐文章于 2023-07-20 19:30:58 发布
阅读量7.1k 收藏 2
点赞数
分类专栏： Flink Kafka 文章标签： Flink kafka Expiring passed append
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010002184/article/details/117708404
版权
Flink 同时被 2 个专栏收录
68 篇文章 6 订阅 ¥29.90 ¥99.00
订阅专栏 超级会员免费看
Kafka
16 篇文章 1 订阅
订阅专栏

2021-06-08 02:05:37 java.lang.Exception: Failed to send data to Kafka: Expiring 89 record(s) for XXXXXXXXXXXXXX: 30005 ms has passed since last append

at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducerBase.checkErroneous(FlinkKafkaProducerBase.java:400)

............

谷歌后，查询到：解释比较好！

消息在producer端发送时，是先保存在中间缓存中，组成批，如果批等了超过默认时间限制30s后，还没发送出去就会报这个异常，同时该批的消息都会从发送队列中删除掉（丢失）！

https://stackoverflow.com/questions/46750420/kafka-producer-error-expiring-10-records-for-topicxxxxxx-6686-ms-has-passed

This exception is occuring because you are queueing records at a much faster rate than they can be sent.【插入消息的速度远远超过发送消息的速度】

When you call the send method, the ProducerRecord will be stored in

了解本专栏 订阅专栏 解锁全文 超级会员免费看
二十六画生的博客
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Kafka】Failed to send data to Kafka: Expiring 30 record(s) for xxx 732453 ms has passed since last
九师兄
07-03 5280
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
【Kafka】Failed to send data to Kafka: Failed to update metadata after 60000 ms
九师兄
07-03 2475
出现这个错误是因为 Flink Kafka Producer 在发送数据时无法更新 Kafka 的元数据。具体来说，由于连接超时，导致无法在60000毫秒内更新元数据。
大数据安全-kerberos技术-kafka安装包，kafka版本：kafka-2.12-3.3.1.tgz
06-07
大数据安全-kerberos技术-kafka安装包，kafka版本：kafka_2.12-3.3.1.tgz
kafka处理超大消息的配置 org.apache.kafka.common.errors.RecordTooLargeException
01-07
在使用 canal 和kafka处理数据同步时canal日志提示如下异常： java.lang.RuntimeException: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept   原因是消息过大无法处理 第一步：修改 canal/conf/canal.properties配置
GetOffsetShell_kafka_SSL:具有SSL的kafka.tools.GetOffsetShell
03-11
GetOffsetShell_kafka_SSL 在具有SSL的kafka kafka.tools.GetOffsetShell中启用SSL身份验证时，GetOffsetShell的解决方案不起作用
kafka-manager-1.3.3.22.zip
01-24
已编译 Kafka-Manager-1.3.3.22 linux下直接解压解压kafka-manager-1.3.3.22.zip到/opt/module目录 [root@hadoop102 module]$ unzip kafka-manager-1.3.3.22.zip 4）进入到/opt/module/kafka-manager-1.3.3.22/conf目录，在application.conf文件中修改kafka-manager.zkhosts [root@hadoop102 conf]$ vim application.conf 修改zookeeper地址为： kafka-manager.zkhosts="hadoop102:2181,hadoop103:2181,hadoop104:2181" 5）启动KafkaManager [root@hadoop102 kafka-manager-1.3.3.22]$ nohup bin/kafka-manager -Dhttp.port=7456 >/opt/module/kafka-manager-1.3.3.22/start.log 2>&1 & 6）在浏览器中打开 备注:指定端口号看启动过程中 "-Dhttp.port=7456" 端口可以自己设置 http://hadoop102:7456
自制单片机SST89XXX仿真器
09-03
自制单片机SST89XXX仿真器GUIDE
BCM89XXX系列PHY驱动代码适配
技术杂货铺
06-25 2347
BCM89XXX系列PHY使用的MDIO配置默认通信协议是C45，Linux内核驱动默认使用C22协议对PHY进行相关配置，所以Linux内核驱动需要使用C22协议模仿C45协议对PHY进行相关配置。/bin/sh。
89系列单片机的型号编码
ncdawen的专栏
03-24 4342
    89系列单片机的型号编码由三个部分组成，它们是前缀、型号和后缀。格式如下：    AT89C XXXXXXXX其中，AT是前缀，89CXXXX是型号，XXXX是后缀。    下面分别对这三个部分进行说明，并且对其中有关参数的表示和意义作相应的解释。    (l)前缀  由字母“AT”组成，表示该器件是ATMEL公司的产品。    (2)型号  由“89CXXXX”或“89LVXXXX”或
史上最全软件测试工程师常见的面试题总结（十一）【多测师】
多测师_王sir的博客
05-11 2204
1000道软件测试工程师最全面试题链接：https://www.cnblogs.com/xiaoshubass/p/12865319.html 1) 负载测试和压力测试区别？ 2) 1000个用户的并发测试怎么测？ 3) 一个杯子从哪方面测？ 4) jenkins怎么用的？ 5) 第一个项目哪些方面做了自动化？ 6) 哪些方面可以做性能测试？ 7) 搭建性能环境从哪几个方面考虑？ 8...
Failed to send data to Kafka
malove110的博客
12-16 1502
kafka 异常
Flink发送数据到kafka报错 Producer attempted to produce with an old epoch.
最新发布
yy的博客
07-20 890
Flink集群存在多个sink到kafka的任务,使用了相同的事务id,即 transactionalId 相同.flink中 事务id自动生成, 如果uid和name相同，得到的transactionid也一定相同.所以我们要排查的是 不能由多个任务写入同一个topic,而且sink算子的uid,name都一样.解决方法: uid/name 添加随机数 或者不同的字符.
Unicode字符集和多字节字符集关系（一）
Road2010的专栏
03-02 4722
另外可参考： 谈谈Unicode编码，简要解释UCS、UTF、BMP、BOM等名词 http://blog.csdn.net/smonster/archive/2008/10/31/3194587.aspx   unicode、ucs-2、ucs-4、utf-16、utf-32、utf-8 http://stallman.blogbus.com/logs/41709878.html U
python mysql测试连接_python连接数据库测试
weixin_42297665的博客
01-20 8188
#!/usr/bin/python#coding=utf-8import cx_Oracleimport sysimport urllibimport osdef connectDB(dbname='sms'):if dbname == 'sms':connstr='system/[email protected]:1521/sms'db=cx_Oracle.connect(connstr)...
curl make distclean，Recipe has too many lines（89xxx）问题
weixin_36674776的博客
09-29 366
curl make distclean，Recipe has too many lines（89xxx）问题
ERROR: The server time zone value ‘Öйú±ê׼ʱ¼ä‘ is unrecognized or represents more than one time
前后端杂货铺
07-15 629
ERROR: The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (via the serverTimezone configuration property) to use a more specifc time zone value if you want to
FlinkCDC将mysql数据Sink到kafka的一个错误解决
Ocean_Hai22的博客
06-21 1811
FlinkCDC将mysql数据Sink到kafka的一个错误解决 Failed to send data to Kafka xxx with FlinkKafkaInternalProducer{transactionalId=‘xxx’, inTransaction=true, closed=false} The broker received an out of order sequence number
Caused by java.lang.Exception Failed to send data to Kafka Expiring
weixin_30237719的博客
07-01 2487
flink 写kafka，报错，作业挂掉 Caused by: java.lang.Exception: Failed to send data to Kafka: Expiring 89 record(s) for system_online_learning_test-1: 30001 ms has passed since last append Kafka Version : 0.10...
解决org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for xxx topic
05-24
这个错误提示通常是由于Kafka生产者在发送消息时，等待Broker响应超时而导致的。可以尝试以下几种方法来解决这个问题： 1. 增加超时时间：在创建Kafka生产者时，可以设置`max.block.ms`属性来增加等待Broker响应的最大时间。例如： ``` Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("max.block.ms", "5000"); //设置等待时间为5秒 KafkaProducer<String, String> producer = new KafkaProducer<>(props, new StringSerializer(), new StringSerializer()); ``` 2. 减少消息发送频率：如果生产者连续发送大量消息，可能会导致Broker无法及时处理，从而导致超时异常。可以尝试减少消息的发送频率，例如增加发送消息之间的间隔时间。 3. 增加Broker处理能力：如果以上两种方法都无法解决问题，可以考虑增加Broker的处理能力，例如增加Broker节点、优化Broker配置等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二十六画生的博客

你的鼓励是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值