【Flink】Flink 写入 kafka 报错 Failed to send data to Kafka: Expiring 4 record(s) for 20001 ms has passed

已于 2023-03-03 13:35:16 修改
阅读量3.4k 收藏
点赞数
分类专栏： 大数据-flink 大数据-kafka 文章标签： kafka flink big data
于 2021-07-06 21:53:04 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/118499398
版权
大数据-flink 同时被 2 个专栏收录
838 篇文章 844 订阅 ¥99.90 ¥299.90
订阅专栏
大数据-kafka
401 篇文章 635 订阅 ¥99.90 ¥299.90
订阅专栏

文章目录

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

在这里插入图片描述

1.场景1

1.1 概述

有一个flink 写入kafka的程序报错，如下

Failed to send data to Kafka: Expiring 4 record(s) for BM-DEV-STATUS-18-0:120001 ms has passed since batch creation

具体报错如下

from RUNNING to FAILED.
org.apache.flink.streaming.runtime.tasks
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Kafka】Failed to send data to Kafka: Expiring 30 record(s) for xxx 732453 ms has passed since last
九师兄
07-03 5503
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
Expiring XXX record(s) for XXX:120015 ms has passed since batch creation
热门推荐
qq_31451711的博客
01-12 1万+
Expiring XXX record(s) for XXX:120015 ms has passed since batch creation flink job启动后，频繁发生checkpoint失败，并且checkpoint失败原因 ：Failure reason: Checkpoint was declined.
Kafka errors NotLeaderForPartitionException, TimeoutException: Batch containing * record(s) expired
u011250186的博客
05-19 82
Kafka errors NotLeaderForPartitionException, TimeoutException: Batch containing * record(s) expired
【Flink】flink Kafka报错 : Failed to send data to Kafka: This server is not the leader for that topic-pa
九师兄
09-06 1865
查看topic的时候如下后来删掉重建然后使用我们自己写的洗脚本建立的如下后来自己手动建立如下,看起来正确了最终启动成功。
Failed to send data to Kafka: Expiring 89 record(s) ...30005 ms has passed since last append
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-08 9686
2021-06-08 02:05:37 java.lang.Exception: Failed to send data to Kafka: Expiring 89 record(s) for XXXXXXXXXXXXXX: 30005 ms has passed since last append at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducerBase.checkErroneous(FlinkKafkaProducerBa
【Kafka】Flink kafka 报错 Failed to send data to Kafka: Failed to allocate memory within the config
九师兄
09-06 1674
【代码】【Kafka】Flink kafka 报错 Failed to send data to Kafka: Failed to allocate memory within the config。
【Kafka】Failed to send data to Kafka: Failed to allocate memory within the configured max blocking
九师兄
07-03 2133
该错误通常发生在Flink 向 KatkaQ 发送数据时无法分配足够的内存。当 Flink 向 Katka 的生产者发送数据时，数据会先存储在内存中，然后再发送到 Kafka 的分区中。如果内存不足，就会触发该错误。这个应该是内存分配不足。
flink-connector-kafka-0.10-2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-connector-kafka-0.10_2.11-1.10.0.jar； 赠送原API文档：flink-connector-kafka-0.10_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-connector-kafka-0.10_2.11-1.10.0-sources.jar； 赠送Maven...
Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar
12-27
标题中的"Flink实时读取Kafka数据批量聚合（定时/按数量）写入Mysql"是一个典型的实时数据处理场景，涉及到大数据技术栈中的三个关键组件：Apache Flink、Apache Kafka和MySQL。以下是对这些技术及其在该场景下应用...
flink-connector-kafka-base-2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-connector-kafka-base_2.11-1.10.0.jar； 赠送原API文档：flink-connector-kafka-base_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-connector-kafka-base_2.11-1.10.0-sources.jar； 赠送Maven...
flink-connector-kafka-2.12-1.14.3-API文档-中英对照版.zip
06-06
赠送jar包：flink-connector-kafka_2.12-1.14.3.jar； 赠送原API文档：flink-connector-kafka_2.12-1.14.3-javadoc.jar； 赠送源代码：flink-connector-kafka_2.12-1.14.3-sources.jar； 赠送Maven依赖信息文件：...
Flink入门：读取Kafka实时数据流，实现WordCount
01-07
本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。 代码拆解 首先要设置Flink的执行环境： // 创建Flink执行环境 ...
Kafka生产者（二）
最新发布
java123456111的博客
08-04 883
1、例如我们实现一个分区器实现，发送过来的数据中如果包含 atguigu，就发往 0 号分区，不包含 atguigu，就发往 1 号分区。2、实现步骤（1）定义类实现Partitioner 接口。（2）重写 partition()方法。import org/*** @Copyright： 自定义分区器// 获取数据 atguigu hello String msgValues = value . toString();
kafka基础概念二
wyl9527的博客
08-04 806
但是有一个问题，如果说这个topic中的消息非常非常多，多到需要几T来存，因为消息是会被保存到10g日志文件中的。集群中有多个broker，创建主题时可以指明主题有多个分区(把消息拆分到不同的分区中存储)，可以为分区创建多个副本，不同的副本存放在不同的broker里。副本是为了为主题中的分区创建多个备份，多个副本在kafka集群的多个broker中，会有一个副本作为leader，其他是follower。在创建主题时，除了指明了主题的分区数以外，还指明了副本数，那么副本是一个什么概念呢?
Flink学习之Flink SQL
m0_58050808的博客
08-04 987
启动yarn-session启动Flink SQL客户端测试重启SQL客户端之后，需要重新建表。
深入解析Apache Flink中的事件时间与处理时间
2402_85761468的博客
08-04 801
事件时间是指事件实际发生的时间，通常由事件数据中的一个时间戳来表示。事件时间提供了一种一致的方式来处理事件，即使在分布式系统中，也能够保证事件的顺序性和一致性。处理时间是指事件被系统处理的时间，即事件到达Flink的时间。处理时间通常用于需要快速响应的场景，但它可能受到网络延迟和系统负载的影响。
确保Apache Flink流处理的数据一致性和可靠性
liuxin33445566的博客
08-04 728
Apache Flink是一个用于大规模数据流处理的开源框架，它提供了多种机制来保证在分布式环境中数据的一致性和可靠性。在实时流处理中，数据的一致性和可靠性是至关重要的，因为它们直接影响到数据处理结果的准确性和系统的稳定性。本文将详细介绍Flink如何通过不同的机制和策略来确保数据的一致性和可靠性。
大数据Flink（一百零九）：阿里云Flink的基本名称概念
Lansonli（蓝深李）的博客
08-04 983
通过了解实时计算Flink版产品基本概念的层次结构，为后期作业开发、作业部署、作业运维和安全管理等操作提供思路。实时计算Flink版产品基本概念的层次结构如下图所示。工作空间（Workspace）工作空间是Flink全托管管理项目空间的基本单元，每个工作空间的计算资源隔离，开发控制台相互独立。创建成功后工作空间名称和OSS存储地址不可修改。项目空间（Namespace）项目空间是Flink全托管管理作业的基本单元，我们的所有配置、作业、权限均在单个项目空间下进行。
Kafka与Flink深度集成：从安装配置到实战教程
本文档详细介绍了如何在大数据项目实战中实现Kafka与Apache Flink的连接，包括了从安装配置到实际操作的完整流程。首先，我们关注的是Kafka的安装和配置： 1. Kafka安装：文档建议使用自带版本，这通常意味着官方...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值