【Flink】Flink 写入 kafka 报错 Failed to send data to Kafka: Expiring 4 record(s) for 20001 ms has passed

已于 2023-03-03 13:35:16 修改
阅读量3.5k 收藏
点赞数
分类专栏： 大数据-flink 大数据-kafka 文章标签： kafka flink big data
于 2021-07-06 21:53:04 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/118499398
版权
大数据-flink 同时被 2 个专栏收录
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
大数据-kafka
403 篇文章 639 订阅 ¥99.90 ¥299.90
订阅专栏
本文分析了Flink写入Kafka时遇到的'Expiring ... records for ... ms has passed'错误，指出该问题是由于消息发送速率超过发送能力导致的。建议检查并调整Flink和Kafka的相关配置，如request.timeout.ms，以解决批量发送超时的问题。此外，还讨论了producer配置acks的影响，并提供了源码解析和场景再现。
摘要由CSDN通过智能技术生成

文章目录

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

在这里插入图片描述

1.场景1

1.1 概述

有一个flink 写入kafka的程序报错，如下

Failed to send data to Kafka: Expiring 4 record(s) for BM-DEV-STATUS-18-0:120001 ms has passed since batch creation

具体报错如下

from RUNNING to FAILED.
org.apache
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Kafka】Failed to send data to Kafka: Expiring 30 record(s) for xxx 732453 ms has passed since last
九师兄
07-03 5563
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
Failed to send data to Kafka: Expiring 89 record(s) ...30005 ms has passed since last append
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-08 1万+
2021-06-08 02:05:37 java.lang.Exception: Failed to send data to Kafka: Expiring 89 record(s) for XXXXXXXXXXXXXX: 30005 ms has passed since last append at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducerBase.checkErroneous(FlinkKafkaProducerBa
Kafka producer TimeoutException: Expiring 1 record(s)
lck_csdn的博客
09-07 7486
1.问题描述: Kafka-configuration: spring.kafka.producer.retries=0 spring.kafka.producer.batch-size=100000 spring.kafka.producer.request.timeout.ms=30000 spring.kafka.producer.linger.ms=10 spring.kafka.producer.acks=0 spring.kafka.producer.buffer-memory=33554432
Caused by java.lang.Exception Failed to send data to Kafka Expiring
weixin_30237719的博客
07-01 2545
flink 写kafka，报错，作业挂掉 Caused by: java.lang.Exception: Failed to send data to Kafka: Expiring 89 record(s) for system_online_learning_test-1: 30001 ms has passed since last append Kafka Version : 0.10...
Expiring 14 record(s) for test123-0: 30037 ms has passed since last append
最新发布
weixin_52400708的博客
08-10 233
Expiring 14 record(s) for test123-0: 30037 ms has passed since last append
Expiring XXX record(s) for XXX:120015 ms has passed since batch creation
qq_31451711的博客
01-12 1万+
Expiring XXX record(s) for XXX:120015 ms has passed since batch creation flink job启动后，频繁发生checkpoint失败，并且checkpoint失败原因 ：Failure reason: Checkpoint was declined.
【Flink】flink Kafka报错 : Failed to send data to Kafka: This server is not the leader for that topic-pa
九师兄
09-06 1944
查看topic的时候如下后来删掉重建然后使用我们自己写的洗脚本建立的如下后来自己手动建立如下,看起来正确了最终启动成功。
【Kafka】Flink kafka 报错 Failed to send data to Kafka: Failed to allocate memory within the config
九师兄
09-06 1699
【代码】【Kafka】Flink kafka 报错 Failed to send data to Kafka: Failed to allocate memory within the config。
Failed to send data to Kafka
malove110的博客
12-16 1665
kafka 异常
【Kafka】Failed to send data to Kafka: Failed to allocate memory within the configured max blocking
九师兄
07-03 2175
该错误通常发生在Flink 向 KatkaQ 发送数据时无法分配足够的内存。当 Flink 向 Katka 的生产者发送数据时，数据会先存储在内存中，然后再发送到 Kafka 的分区中。如果内存不足，就会触发该错误。这个应该是内存分配不足。
【Kafka】Failed to send data to Kafka: Failed to update metadata after 60000 ms
九师兄
07-03 2959
出现这个错误是因为 Flink Kafka Producer 在发送数据时无法更新 Kafka 的元数据。具体来说，由于连接超时，导致无法在60000毫秒内更新元数据。
kafka send data 超时问题 报错：xx ms has passed since last append
L_ZB_的博客
02-26 3879
kafka报错：xx ms has passed since last append / xx ms has passed since batch creation plus linger time / ms has passed since last attempt plus backoff time
kafka Expiring 536 record(s) for ka1-0: 30009 ms has passed since last append
热门推荐
ff415501264的专栏
03-14 1万+
kafka 大批量发送消息时报the producer has a error:Expiring 536 record(s) for ka1-0: 30009 ms has passed since last append Expiring 536 record(s) for ka1-0: 30009 ms has passed since last append有其他网友说可能是topic不是手...
kafka record(s) for xxxxxx: 30043 ms has passed since last append异常
游荡边缘的博客
09-26 5784
在最近使用kafka过程中，有一部分的客户使用平台时会偶发出现以下错误 刚开始网上找到的答案是对应主题所在分区对应的宿主机处理出现异常导致，故而导致该异常，所以出问题时取查询时并没有发现kafka server有其他问题，后通过其他方式查询出现该问题的原因; 一个partition只会有队头的batch被发送，sender线程不会对发送中partition的其余batch检查过期，指向同一个broker的多个partition的batch能够合并成一个request发送。其中前两点是由Accumul
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值