【Flink】Flink 报错 The broker received an out of order sequence number

九师兄

已于 2023-07-17 17:21:43 修改

阅读量581

点赞数

分类专栏：大数据-flink 文章标签： flink kafka 大数据

于 2023-07-15 13:13:20 首次发布

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/125440779

版权

大数据-flink 专栏收录该内容

840 篇文章 855 订阅 ¥99.90 ¥299.90

订阅专栏

本文分析了Flink在使用Kafka时遇到的序列号乱序错误，探讨了错误原因及源码解析，重点在于 ProducerBatch 的重试逻辑和事务管理。建议检查 `max.in.flight.requests.per.connection` 参数，确认Kafka版本兼容性，检查网络连接，并仔细审查代码逻辑以解决问题。

摘要由CSDN通过智能技术生成

文章目录

1.概述
2.源码分析

1.概述

某环境Flink报错 The broker received an out of order sequence number。具体错误如下

在这里插入图片描述

2.源码分析

首先根据报错找到报错位置

 /**
     * 发生序列不对，有乱序
     */
    OUT_OF_ORDER_SEQUENCE_NUMBER(45, "The broker received an out of order sequence

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

【Flink】Flink写入kafka事务ID是唯一的吗？怎么生成的呢?

九师兄

07-13

300

有个问题，flink1.13在使用Kafka事物的时候，事物ID是flink自己生成的吗，需要维护吗？因为这个问题，所以我看了看源码。

OutOfOrderSequenceException

u010199493的博客

07-22

3300

1.Kafka producer报错日志： due to org.apache.kafka.common.errors.OutOfOrderSequenceException: The broker received an out of order sequence number. at org.apache.kafka.streams.processor.internals.RecordCo...

参与评论您还未登录，请先登录后发表或查看评论

CSharpFlink分布式实时计算，OutOfMemoryException异常，你意想不到的原因。

whyrookie的博客

03-13

347

目录一、测试过程及问题二、问题排查及分析过程三、问题分析及解决过程四、问题解决初步结果一、测试过程及问题从昨天15点左右开始测试，1个主节点，10个计算节点，1000个数据点，每个数据点3（1个实时窗口，2个延迟窗口）个数据窗口，每个数据点随时生成窗口周期和计算实例，每个数据点随时生成实时数据或历史数据。测试结果，由于程序无法再获得电脑的内存而停止工作，更专业的说是System. OutOfMemoryException。主节点，今天3点左右开始...

java生产者生产失败,事务性生产者vs只是幂等生产者Java(异常OutOfOrderSequenceException)...

weixin_36488760的博客

02-27

658

I use spring-kafka with idempotent producer configuration:these are my configuration props:Properties props = new Properties();props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, Joiner.on(",").join(ap...

Kafka 错误代码解释

Rao的博客

02-24

2万+

Kafka 原生API交互的Code代表使用client 与 kafka 交互时，会返回错误代码，官方给出了，代码表示的具体含义官网地址 https://kafka.apache.org/protocol 示例 KeyError 36 表示 topic 已存在下表是Error code 以及相对应的关系 Error code retriable description ...

Doris进阶篇—Flink+Doris 实时数仓

10-07

3万+

简单来说，Aggregate模型就是预聚合模型，类似于Molap，通过提前定义key列及value列的聚合方式，在数据导入的时候已经将key列相同的数据按照value列的聚合方式聚合在一起，即最终表里key相同的数据只保留一条，value按照相应的规则计算。线上配置的监控1分钟执行一次，如果遇到任务暂停，会自动恢复导入任务，但是导致任务失败的脏数据会跳过，此时需要人工排查失败原因，修复后重新触发该条数据的导入。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势。

flink流处理

weixin_43705952的博客

12-07

1936

<?xml version="1.0" encoding="UTF-8"?> -<project xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0"&gt

kafka 异步发送阻塞_Kafka学习一

weixin_32761653的博客

01-09

922

一、github下载kafka的源码可以看到kafka的源码开源社区是非常活跃的。二、搭建kafka环境构建kafka环境，首先需要安装Scala和gradle，再安装的scala插件需要和你的idea需要匹配，同时不要忘了安装gradle时配置环境变量。安装完之后，你就可以修改gradle.propertiesgroup=org.apache.kafka#NOTE:Whenyou...

Kafka学习笔记--KIP98- EOS和事务化消息

IT老兵的驿站

01-19

1628

前言研究到了事务性消息，这篇文章又长，英文难度又大，蚂蚁搬家似的一点一点翻译和记录笔记，结果，最郁闷的是，半天的翻译因为没有写标题而没有及时保存，后来网页挂了，白干了，只好又重来，赶紧先把标题写上，以防万一。本文仍然是部分翻译和记录笔记，中英混排。 KIP-98 - Exactly Once Delivery and Transactional Messaging KIP的原理和BIP...

org.apache.kafka.common.errors.TimeoutException: Topic not present in metadata 解决方法

PacosonSWJTU的博客

12-05

2万+

【README】本文po出了 topic not present in metadata 的解决方法；很多博文说是因为 jackson-databind 没有引入，但是我重新引入后，还是没有解决问题；最后，原因在于我要发送消息的分区，topic 没有对应分区会报这个错误；【1】场景重现 1）新建topic hello02，分为3个分区，每个分区2个副本； [root@centos201 kafka3.0.0]# kafka-topics.sh --bootstrap-server.

Flink应用学习笔记（六）End-to-end Exactly Once

热门推荐

maoyuanming0806的博客

06-03

21万+

记录使用kafka遇到的问题： - 1.Caused by java.nio.channels.UnresolvedAddressException null - 2.org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for t2-0: 30042 ms has passed since b...

Kafka报错org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.

球球的博客

10-21

8915

问题描述 kafka producer/consumer连接kafka broker超时，报错日志： org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms. 解决办法假如：kafka broker部署在172.17.162.198（主机名为myhost01）机器。...

KafkaProducer-源码学习

top8488.top大数据

10-23

316

Kafka-Clients 源码学习:KafkaProducer 篇 zwangbo 阅读数：527 2019 年 10 月 22 日 13:55 前言本文基于 Kafka-clients:1.1.0 版本。 KafkaProducer 的发送流程调用流程图此图描述的是用户启动一个线程使用 KafkaProducer 进行消息发送的大概流程。除了用户主线程，KafkaProd...

万字长文干货 | Kafka 事务性之幂等性实现

微信搜：import_bigdata，大数据领域硬核原创作者

05-17

840

作者 |柳年思水整理 | 王知无Apache Kafka 从 0.11.0 开始，支持了一个非常大的 feature，就是对事务性的支持，在 Kafka 中关于事务性，...

tcp协议接收方对out of order的分段是如何处理的?_TCP协议与流通信

weixin_39747807的博客

01-26

1955

TCP(Transportation Control Protocol)协议与IP协议是一同产生的。事实上，两者最初是一个协议，后来才被分拆成网络层的IP和传输层的TCP。我们已经在UDP协议中介绍过，UDP协议是IP协议在传输层的“傀儡”，用来实现数据包形式的通信。而TCP协议则实现了“流”形式的通信。TCP的内容非常丰富。我不能在一篇文章中将TCP讲完。这一篇主要介绍TCP协议的下面几个方面：...

kafka种幂等性的实现机制

xiaoxu_xiaoyou的博客

08-07

1086

什么是幂等性？一次或多次请求同一个资源，其资源本身不发生变化，结果可能不同关于幂等性广泛应用于分布式项目中，这与互斥性同为分布式项目需要重视两大问题点， Kafka中的幂等性 Producer在生产发送消息，偶遇网络延时等不可控因素，需要重复发送消息，Producer进行retry时会产生重试机制，由于Kafka中引入幂等性，保证消息不会重复接收，保证Exactly-once语义上图中显示正常情况下Producer发送消息至Broker，Broker在追加消息后返回ack应答到Produ

flink taskmanager报错“The heartbeat of JobManager with id timed out”是为什么

03-31

这个错误表示Flink TaskManager无法与JobManager保持心跳连接，通常是由于以下原因之一导致的： 1. JobManager崩溃或无法访问：如果JobManager无法访问或已崩溃，则TaskManager无法与其保持连接，因此会超时。 2. ...