【Flink】Flink 报错 The broker received an out of order sequence number

已于 2023-07-17 17:21:43 修改
阅读量795 收藏
点赞数
分类专栏： 2025最新-大数据-flink 文章标签： flink kafka 大数据
于 2023-07-15 13:13:20 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/125440779
版权
本文分析了Flink在使用Kafka时遇到的序列号乱序错误，探讨了错误原因及源码解析，重点在于 ProducerBatch 的重试逻辑和事务管理。建议检查 `max.in.flight.requests.per.connection` 参数，确认Kafka版本兼容性，检查网络连接，并仔细审查代码逻辑以解决问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


在这里插入图片描述

1.概述

某环境Flink报错 The broker received an out of order sequence number。具体错误如下

在这里插入图片描述

2.源码分析

首先根据报错找到报错位置

 /**
     * 发生序列不对，有乱序
     */
    OUT_OF_ORDER_SEQUENCE_NUMBER(45, "The broker received an out of order sequence
了解本专栏 订阅专栏 解锁全文
Flink 报错：无序的序列号导致 Broker 接收错误
VavzNvml的博客
09-22 397
为了解决这个问题，我们可以确保 Kafka 主题的分区数量不变，控制 Flink 任务的并行度，以及使用 Flink 的 Watermark 机制来处理乱序数据。如果有多个 Flink 任务同时从同一个 Kafka 主题消费数据，并且它们的并行度大于主题的分区数，那么就会发生并发消费。在生产环境中，应该避免频繁地增加或减少主题的分区数量，以免引起数据的重新分配。当 Kafka 集群发生变化时，例如增加或减少了分区数量，或者重新分配了分区到不同的 Broker 上，就可能导致分区的重新分配。
【Flink】Flink写入kafka事务ID是唯一的吗？怎么生成的呢?
九师兄
07-13 413
有个问题，flink1.13在使用Kafka事物的时候，事物ID是flink自己生成的吗，需要维护吗？因为这个问题，所以我看了看源码。
OutOfOrderSequenceException
u010199493的博客
07-22 3693
1.Kafka producer报错日志： due to org.apache.kafka.common.errors.OutOfOrderSequenceException: The broker received an out of order sequence number. at org.apache.kafka.streams.processor.internals.RecordCo...
CSharpFlink分布式实时计算，OutOfMemoryException异常，你意想不到的原因。
whyrookie的博客
03-13 399
目录 一、测试过程及问题 二、问题排查及分析过程 三、问题分析及解决过程 四、问题解决初步结果 一、测试过程及问题 从昨天15点左右开始测试，1个主节点，10个计算节点，1000个数据点，每个数据点3（1个实时窗口，2个延迟窗口）个数据窗口，每个数据点随时生成窗口周期和计算实例，每个数据点随时生成实时数据或历史数据。 测试结果，由于程序无法再获得电脑的内存而停止工作，更专业的说是System. OutOfMemoryException。 主节点，今天3点左右开始...
java生产者生产失败,事务性生产者vs只是幂等生产者Java(异常OutOfOrderSequenceException)...
weixin_36488760的博客
02-27 710
I use spring-kafka with idempotent producer configuration:these are my configuration props:Properties props = new Properties();props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, Joiner.on(",").join(ap...
Kafka 错误代码解释
Rao的博客
02-24 2万+
Kafka 原生API交互的Code代表 使用client 与 kafka 交互时，会返回错误代码，官方给出了，代码表示的具体含义 官网地址 https://kafka.apache.org/protocol 示例 KeyError 36 表示 topic 已存在 下表是Error code 以及相对应的关系 Error code retriable description ...
kafka 异步发送阻塞_Kafka学习一
weixin_32761653的博客
01-09 959
一、github下载kafka的源码可以看到kafka的源码开源社区是非常活跃的。二、搭建kafka环境构建kafka环境，首先需要安装Scala和gradle，再安装的scala插件需要和你的idea需要匹配，同时不要忘了安装gradle时配置环境变量。安装完之后，你就可以修改gradle.propertiesgroup=org.apache.kafka#NOTE:Whenyou...
flink用法详解
qq_43673709的博客
06-12 1298
无界流 (Unbounded Streams): 数据流理论上没有终点，持续不断地流入系统。Flink 会连续地处理这些事件，即使在处理过程中新的数据还在不断到来。 有界流 (Bounded Streams): 数据流有一个明确的起点和终点，处理完所有数据后任务即结束。Flink 可以像处理流一样处理批数据，采用相同的 API 并提供高效执行。编写一个Flink步骤 Source：flink的数据来源 集合 文件 socket kafka 总结：自定义Source Flink提供了数据源接口
Doris进阶篇—Flink+Doris 实时数仓
10-07 4万+
简单来说，Aggregate模型就是预聚合模型，类似于Molap，通过提前定义key列及value列的聚合方式，在数据导入的时候已经将key列相同的数据按照value列的聚合方式聚合在一起，即最终表里key相同的数据只保留一条，value按照相应的规则计算。线上配置的监控1分钟执行一次，如果遇到任务暂停，会自动恢复导入任务，但是导致任务失败的脏数据会跳过，此时需要人工排查失败原因，修复后重新触发该条数据的导入。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势。
Kafka学习笔记--KIP98- EOS和事务化消息
IT老兵的驿站
01-19 1872
前言 研究到了事务性消息，这篇文章又长，英文难度又大，蚂蚁搬家似的一点一点翻译和记录笔记，结果，最郁闷的是，半天的翻译因为没有写标题而没有及时保存，后来网页挂了，白干了，只好又重来，赶紧先把标题写上，以防万一。 本文仍然是部分翻译和记录笔记，中英混排。 KIP-98 - Exactly Once Delivery and Transactional Messaging KIP的原理和BIP...
kafka 事务_Kafka的有且仅有一次语义与事务消息
weixin_29159711的博客
11-25 658
架构师(JiaGouX)我们都是架构师！架构未来，你来不来？作者：Dengshenyu原文：www.dengshenyu.com/kafka-exactly-once-transaction-interface/最近看到Kafka官方wiki上有一篇关于有且仅有一次语义与事务消息的文档(见这里)，里面说的非常详细。对于有且仅有一次语义与事务消息是什么东西，大家可以看我的上一篇博客，或者看...
Got error produce response with correlation id 219 on topic-partition action_from_beijing_web_topic-
最新发布
完颜振江
07-31 646
在 Kafka 0.11 版本中引入了有序分区（Ordered Partitioner），它可以根据消息的键（Key）进行分区，从而保证相同键的消息被发送到同一个分区并保持顺序。：如果业务场景需要严格的消息顺序和一致性保证，可以考虑使用 Kafka 的事务功能，这可以确保消息的发送满足 exactly-once 语义。：在消息中添加一个顺序号，确保每个分区的消息都有唯一的顺序号，消费者可以根据这个顺序号来处理消息，以保证顺序性。参数，以确保它可以接受足够大的消息，同时。遇到 Kafka 的。
Flink应用学习笔记（六）End-to-end Exactly Once
weixin_37172178的博客
12-31 1020
基于前面对Flink基础的学习，本章在对基础知识点的了解基础上，开始尝试使用Flink进行更进一步的应用。本周在工作中，同事遇到了使用Flink中两阶段提交的机制，因此，在应用篇中对两阶段提交进实现端到端的Exactly Once进行介绍。。当然，本帖子只作为学习用，实际应用场景会更加复杂，关于实践过程中的问题欢迎留言交流。
org.apache.kafka.common.errors.TimeoutException: Topic not present in metadata 解决方法
PacosonSWJTU的博客
12-05 2万+
【README】 本文po出了 topic not present in metadata 的解决方法； 很多博文说是 因为 jackson-databind 没有引入，但是我重新引入后，还是没有解决问题； 最后，原因在于我要发送消息的分区，topic 没有对应分区会报这个错误； 【1】场景重现 1）新建topic hello02， 分为3个分区，每个分区2个副本； [root@centos201 kafka3.0.0]# kafka-topics.sh --bootstrap-server.
kafka问题解决：org.apache.kafka.common.errors.TimeoutException
热门推荐
maoyuanming0806的博客
06-03 21万+
记录使用kafka遇到的问题： - 1.Caused by java.nio.channels.UnresolvedAddressException null - 2.org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for t2-0: 30042 ms has passed since b...
Kafka报错org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.
球球的博客
10-21 9449
问题描述 kafka producer/consumer连接kafka broker超时，报错日志： org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms. 解决办法 假如：kafka broker部署在172.17.162.198（主机名为myhost01）机器。...
KafkaProducer-源码学习
top8488.top大数据
10-23 351
Kafka-Clients 源码学习:KafkaProducer 篇 zwangbo 阅读数：527 2019 年 10 月 22 日 13:55 前言 本文基于 Kafka-clients:1.1.0 版本。 KafkaProducer 的发送流程 调用流程图 此图描述的是用户启动一个线程使用 KafkaProducer 进行消息发送的大概流程。除了用户主线程，KafkaProd...
万字长文干货 | Kafka 事务性之幂等性实现
微信搜：import_bigdata，大数据领域硬核原创作者
05-17 881
作者 |柳年思水整理 | 王知无Apache Kafka 从 0.11.0 开始，支持了一个非常大的 feature，就是对事务性的支持，在 Kafka 中关于事务性，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值