【Flink】Flink 报错 Corrupt data, magic number mismatch. Expected

九师兄

已于 2022-08-20 10:42:24 修改

阅读量316

点赞数

分类专栏：大数据-flink 文章标签： flink java 大数据

于 2022-08-05 18:56:34 首次发布

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/124804091

版权

大数据-flink 专栏收录该内容

838 篇文章 846 订阅 ¥99.90 ¥299.90

订阅专栏

本文介绍了在Flink任务恢复时遇到的'Corrupt data, magic number mismatch'错误，详细分析了错误发生的源码流程，包括从数据输入视图读取TypeSerializerSnapshot的过程。问题解决方法是避免将所有依赖打包成单一jar，以确保正常恢复。" 111963448,10545367,Golang绘图基础：绘制简单图形与线条,"['Golang', '图形绘制', '图像处理', '算法']

摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

flink任务从检查点恢复报错 Corrupt data, magic number mismatch. Expected 详情信息如下

在这里插入图片描述

2.源码分析

首先在 org.apache.flink.runtime.state.metainfo.StateMetaInfoSnapshotReadersWriters.CurrentReaderImpl#readStateMetaInfoSnapshot 中调用

 @Nonnull
        @Override
        public StateMetaInfoSnapshot readStateMetaInfoSnapshot(
                @Nonnull

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
【Flink】Flink 报错 Corrupt data, magic number mismatch. Expected

flink任务从检查点恢复报错详情信息如下。
复制链接

扫一扫

专栏目录

订阅专栏

Flink 报错：数据损坏，魔数不匹配。预期为大数据

学习使你进步。

08-21

Apache Flink 是一个开源的流处理框架，具有高吞吐量、低延迟和容错性。然而，在使用 Flink 进行大数据处理时，有时可能会遇到错误消息：“Corrupt data, magic number mismatch. Expected 大数据”。本文将详细解释这个错误的含义，并提供解决方案。

java magic number_避免JDBC查询中的CheckStyle magic number错误

weixin_39911007的博客

03-06

406

我正在上课一个小组项目,我们正在尝试CheckStyle.我对Java非常满意,但从未触及到JDBC或在此之前完成任何数据库工作.我想知道如果有一个优雅的方式来避免在准备语句电话中出现错误的数字错误,请考虑：preparedStatement = connect.prepareStatement("INSERT INTO shows "+ "(showid,showtitle,showinfo,g...

参与评论您还未登录，请先登录后发表或查看评论

magic number 详解

最新发布

08-07

Flink_Data_Transformation

Flink-Data-Source.md

08-07

Flink_Data_Source

Flink-Data-Sink.md

08-07

Flink_Data_Sink

flink-connector-clickhouse-1.12.0.jar

02-15

flink 以connector形式连接clickhouse，资源稀缺，阿里云已经找不到了 id Int, age Int, sex Int, create_date Date ) WITH ( 'connector' = 'clickhouse', 'url' = 'jdbc:clickhouse://10.1.3.176:8123/test'...

flink-sql-demo-data-part2.tar.gz

06-21

本文将围绕“flink-sql-demo-data-part2.tar.gz”这一压缩包，深入探讨其中包含的测试数据，以及这些数据如何在Flink SQL中发挥作用。首先，我们关注到这个压缩包的名字“flink-sql-demo-data-part2.tar.gz”，这...

hive is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [48,46, 48,10]

qq_20488317的博客

05-18

1万+

1、创建表create table if not exists yourtalle(`score` float, `pos` string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'; 2、导入数据load data local inpath "***" overwrite into table yourtable; 导入数据格式举例：1...

trx和dd-wrt的firmware制作

lurayvis的专栏

08-23

6594

trx和dd-wrt的firmware制作目录 trx和dd-wrt的firmware制作... 1 dd-wrt的firmware制作步骤... 1 step1 制作vmlinuz. 1 step2制作squashfsroot file system.. 2 step3制作trx. 2 完整的制作脚本... 2 target.squashfs的操

什么是magic number

Kun Wang's 博客

03-09

2315

Magic number一般是指硬写到代码里的整数常量，数值是编程者自己指定的，其他人不知道数值有什么具体意义，表示不明觉厉，就称作magic number。编程教材书用magic number指代初学者不定义常量直接写数的不良习惯。例子：ELF文件头会写入一个magic number，检查这个数和自己预想的是否一致可以判断文件是否损坏。在缓冲区数组旁放一个magic number（称作canar...

flinksql报错大全

张不帅

02-09

4159

报错 Type mismatch in column 1 of UNION 解决方案: sql 在 union的时候两个表字段出现类型不一致现象

flink实战--开发中常见的错误与问题

阿华田的博客

12-19

2万+

常见错误集 1.Checkpoint失败：Checkpoint expired before completing env.enableCheckpointing(1000L) val checkpointConf = env.getCheckpointConfig checkpointConf.setMinPauseBetweenCheckp...

linux kernel pwn学习之溢出，0ctf2018-zerofs任意读写到提权

seaaseesa的博客

02-28

1049

0ctf2018-zerofs 首先，我们用IDA分析一下驱动文件zerofs.ko，发现该驱动注册了一个文件系统，实现了一个自己的文件系统。题目改编自simplefs，https://github.com/psankar/simplefs，一个简易的文件系统，可以实现文件的存储。而本题，在上面的基础上做了精简修改。并且留有几个漏洞。一个文件系统的镜像，需要mount到目录上，才能使用。...

rsync error: protocol incompatibility / mismatch

阿拉修

08-09

964

1、问题今日在维护集群环境的时候，遇到了一个小问题，rsync 向集群中的机器传输文件的时候报错： protocol version mismatch -- is your shell clean? (see the rsync man page for an explanation) rsync error: protocol incompatibility (code 2) at compat.c(171) [sender=3.0.6] 即使打开调试选项 -vv，也没能得到更多的有用信息，不过看提示

用kNN实现MNIST手写数字识别

dominic_ding的专栏

02-10

1685

做这个试验，主要是为了自己敲代码巩固对kNN和python一些基本语法的认识。1.kNN的核心是分类算法，代码主要借鉴自《机器学习实战》第二章源码。2.从MNIST导出数据形成自己需要的格式，借鉴了python-mnist0.5，参看https://github.com/sorki/python-mnist/blob/master/mnist/loader.py3.对numpy的使用，贯穿了各个代...

文件系统相关的笔记

qq_37276615的博客

06-27

188

task_struct--->open file1 (--->对应一个file结构体--->其中对应的file_operations和文件进行交互 --->一个file结构体对应一个dentry结构体)（反过来是多对一） --->一个dentry对应一个inode结构体（反过来是多对一）最终是将file下的fops赋给所有打开...

flink写入hbase报错org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy

06-07

这个错误信息表明 Flink 作业遇到了无法恢复的错误并且已经停止了。在这种情况下，Flink 使用 NoRestartBackoffTimeStrategy 来防止无限重启作业。要解决这个问题，你需要先了解导致作业失败的原因。可能是你的 HBase 配置有误，导致 Flink 在写入 HBase 时发生了错误。你可以检查一下 Flink 作业日志，看看是否有更详细的错误信息。如果有，可以根据错误信息来排查问题。另外，你也可以尝试使用 Hadoop 的 Configuration 对象来配置 HBase 连接，例如： ```java Configuration config = HBaseConfiguration.create(); config.set("hbase.zookeeper.quorum", "localhost"); config.set("hbase.zookeeper.property.clientPort", "2181"); config.set("hbase.master", "localhost:60000"); ``` 然后在 Flink 的代码中使用这个 Configuration 对象来连接 HBase。如果以上方法都无法解决问题，你可以考虑联系 Flink 社区来获取更多帮助。