Kafka Producer往 Kafka send数据错误：Kafka Producer error Expiring 1 record(s) for TOPIC:XXXXXX: 30 ms

最新推荐文章于 2023-11-03 10:19:02 发布
最新推荐文章于 2023-11-03 10:19:02 发布
阅读量2.9k 收藏
点赞数 1
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010483897/article/details/105817342
版权

错误原因提示的是超时，但是按照网上的说法扩大超时限制，也没有卵用。而且，私以为30s已经很长了，我就发送了1条测试数据，总不能还会超时。

所以本质原因肯定是因为zookeeper和kafka之间的什么地方不对，导致中间代理出现问题，才一直发送不成功。所以按照另一种方法，清空zookeeper的所有数据，让zookeeper和kafka重新建立联系，重新创建分片。测试有效。

我的zookeeper和kafka全部是通过docker启动的，所以直接清空对应的data文件夹里面的数据，重新启动镜像服务即可。

可参考下面链接：

https://stackoverflow.com/questions/46750420/kafka-producer-error-expiring-10-records-for-topicxxxxxx-6686-ms-has-passed

yingchenwy
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Debezium报错处理系列：Creation of database history topic failed, please create the topic manually
zhengzaifeidelushang的博客
11-13 3019
debezium报错：Caused by: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.ClusterAuthorizationException: Cluster authorization failed. “trace”:"org.apache.kafka.connect.errors.ConnectException: Creation of database history topic failed
Kafka - TimeoutException: Expiring 1 record(s) for art-0:120001 ms has passed since batch creation
小工匠
10-26 9185
不关闭防火墙，但是建议本机防火墙开放特定端口，可以使用如下命令 （使用root账户）我并没有大改配置，具体的配置可参考。结果都是关闭的 （建议开放特定端口）可以看消费者的控制台程序，输出正常。要解决这个问题，修改如上配置即可。这种情况，肯定要先看网络问题嘛。如下的配置并没有修改。
kafka producer 错误error:Expiring 1 record(s) for logs_from_newa-8: 3000014 ms has passed since last a
weixin_41870706的博客
08-04 2738
做样例数据进kafka中，生产者总是阻塞一段时间后抛出过期error。 google说修改request.timeout.ms，尽可能长，减少linger.ms，经过实践，卡住的时间会变得和request.timeout.ms 一样长，还会报错。 修改：在本地hosts文件中，添加kafka主机名与其ip的映射关系，问题解决。 ...
Expiring 1 record(s) for 2:xxx ms has passed since batch问题研究
willfly_cui的博客
05-27 1万+
本文主要对该错误相关文章进行整理，供自己以及各位参考，如有问题请及时指出，谢谢。 报错大意为：生产发送批次已经创建，但是已经过去120000ms，仍然没有发送，消息过期。 主要原因有两类 https://stackoverflow.com/questions/46649748/kafka-producer-timeoutexception-expiring-1-records 共有3个可能解决方案 增大 request.timeout.ms 配置 这个配置指的是 kafka 等待发送批次大小（以字.
Kafka producer TimeoutException: Expiring 1 record(s)
lck_csdn的博客
09-07 7127
1.问题描述: Kafka-configuration: spring.kafka.producer.retries=0 spring.kafka.producer.batch-size=100000 spring.kafka.producer.request.timeout.ms=30000 spring.kafka.producer.linger.ms=10 spring.kafka.producer.acks=0 spring.kafka.producer.buffer-memory=33554432
Expiring 1 record(s) for topic1-0: 60010 ms has passed since batch creation plus linger time
qq_41605695的博客
03-03 7273
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for topic1-0: 60010 ms has passed since batch creation plus linger time 远程连接kafka集群超时，写入数据失败 问题排查： 检查网络以及端口是否关闭 telnet测试 排查kaf...
Expiring 1 record(s) for canalEtl_hn-0: 30017 ms has passed since batch creation plus linger time
雅冰石的专栏
01-19 3483
一 问题描述 canal instance报错： Caused by: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for canalEtl_hn-0: 30017 ms has passed since batch creation plus linger time 二 解决办法 修改canal server的/etc/h
kafka入门1-集群生产消息 报：ERROR Producer connection to localhost:9092 unsuccessful
zhangketuan的专栏
07-08 9284
./kafka-console-producer.sh --broker-list localhost:9092 --topic topic1，报下面的错 [2014-12-02 14:16:21,565] ERROR Producer connection to localhost:9092 unsuccessful (kafka.producer.SyncProducer) java.ne
解决kafka正常运行producer连接却出现NoBrokersAvailableError错误的问题
vic_torsun的博客
06-15 3503
kafka正常运行，producer连接时却出现NoBrokersAvailableError错误 这是由于kafka默认使用hostname作为meta信息，如果producer使用ip连接的时候就会导致zookeeper无法识别从而报错。 这样就有两种解决思路，一是配置host，然后使用host进行连接。二是如果不愿意配置host的话，可以修改默认的listener参数： 进入/usr/local/kafk（kafka的安装目录） 修改config/server.properties中的默认参数，有一
Kafka1.0.0 Producer发送消息出现异常 Batch containing 1 record(s) expired
Andeve的博客
07-12 3031
Kafka 1.0.0 Java Client TimeoutException: Batch containing 1 record(s) expired time = 300592...1.最开始去查看server.properties,默认是30 s,修改成50 s,还是不行 //props.put(ProducerConfig.REQUEST_TIMEOUT_MS_CONFIG,"50...
kafka本地调试消费者获取到的队列乱码
q605988797的博客
10-22 1128
启动了kafka-console-producer.bat，利用chcp查看当前的编码，默认为GBK(936)，utf-8的编码是 65001，可以利用chcp 65001来修改，但是生产者控制台输入中文就直接退出了，无法调试，可以本地写一个生产者程序，通过代码来写入中文数据，消费方获取正常。 ...
罗马数字
wsqsoft的专栏
09-15 5614
罗马字数字罗马字数字罗马字数字罗马字数字I1XI11XXI21C100II2XII12XXIX29CI101III3XIII13XXX30CC200IV4XIV14XL40D500V5XV15XLVIII48DC600VI6XVI16IL49CM900VII7XVII17L50M1000VIII8XVIII18LX60MDCLXVI1666IX9XIX19XC90MCMLXX1970X10XX20
java作为kafka生产者实验及Expiring超时问题解决
PacosonSWJTU的博客
12-29 1521
【README】 java作为生产者，centos 作为消费者； 【1】生产者代码 -- pom.xml <!-- 依赖 --> <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0.
Kafka 中的一些坑
qi_ming_hao_nan的博客
05-14 2441
引言 以此记录一下在使用 Kafka 的过程中遇到的一些古怪问题 因为是初学，所以遇到的问题还不算多，之后会慢慢更新（大概 👀） 生产者相关 记录一下有关 Producer 的一些问题 Topic 不存在 问题描述：org.apache.kafka.common.errors.TimeoutException: Topic xxx not present in metadata after xxx ms. 很显然，意思是 Topic 不存在于 metadata 导致了 Producer 发送超
kafka问题解决：org.apache.kafka.common.errors.TimeoutException
热门推荐
maoyuanming0806的博客
06-03 21万+
记录使用kafka遇到的问题： - 1.Caused by java.nio.channels.UnresolvedAddressException null - 2.org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for t2-0: 30042 ms has passed since b...
Expiring XXX record(s) for XXX:120015 ms has passed since batch creation
qq_31451711的博客
01-12 1万+
Expiring XXX record(s) for XXX:120015 ms has passed since batch creation flink job启动后，频繁发生checkpoint失败，并且checkpoint失败原因 ：Failure reason: Checkpoint was declined.
解决逆天深坑-Kafka写入失败
最新发布
ppandrr的博客
11-03 1145
我是docker中运行的，所以用的是docker exec -it zookeeper sh进入到容器中，然后进入到data目录下，直接rm -rf xxx文件，之后重新启动了一下docker容器，就成功发送了。找了很多网上的问题，都说是server.porperties的问题。我建议是先去试着修改一下，看看关键的配置有没有问题、我的配置经过多次尝试是没有问题的，但是却仍然无法成功。这位回答者说是因为zookeeper中的data数据出现了问题，我尝试清除了一下就好了。
Failed to send data to Kafka: Expiring 89 record(s) ...30005 ms has passed since last append
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-08 9799
2021-06-08 02:05:37 java.lang.Exception: Failed to send data to Kafka: Expiring 89 record(s) for XXXXXXXXXXXXXX: 30005 ms has passed since last append at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducerBase.checkErroneous(FlinkKafkaProducerBa
kafka推送消息失败的问题
weixin_39694116的博客
03-30 915
经过排查发现每次推往服务器A的消息都丢失了，到A服务器下data/logs/topic名称 目录下的log文件一直是0大小，也就是说这个分片的消息都没有成功发布，最后确定原因是，A集群kafka的配置里多了min.insync.replicas=2，表示的意思是消息至少必须要有2个副本，但是默认我的这个topic是1个副本的，所以这里消息一直没发布成功，把这条注释掉后解决问题。topic没有事先创建，直接使用生产者推送生成，默认创建的topic是1个replication 和3个partition。
连接Kafka超时错误信息的解决办法
UncleTian的博客
01-17 6030
1，错误分析 [kafka-producer-network-thread | producer-1] ERROR com.zlikun.mq.ProducerTest - send error ! org.apache.kafka.common.errors.TimeoutException: Expiring 2 record(s) for zlikun_topic-3: 30042 ms h...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值