【Flink】restored state is lower than the configured parallelism

于 2024-03-29 06:45:00 发布
阅读量493 收藏 1
点赞数 17
分类专栏： 大数据-flink 文章标签： flink python 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/133852864
版权
大数据-flink 专栏收录该内容
839 篇文章 849 订阅 ¥99.90 ¥299.90
订阅专栏
本文档探讨了在使用Flink从Savepoints恢复时遇到的问题，当并行度更改后，系统抛出错误。文章深入源码，分析了`restoreLatestCheckpointedStateInternal`和`assignStates`方法，特别关注`checkParallelismPreconditions`中的错误检查。解决方案集中在单并行度时使用`windowAll`可能导致的问题上。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

有个环境我想从savepoints恢复，但是修改了并行度，然后报错： The maximum parallelism (1) of the restored state is lower than the configured parallelism

1.1.源码

首先这个是从savepoint恢复会调用restoreLatestCheckpointedStateInternal,在里面会调用assignStates

...
// 重点：JM 给各个 TM 分配 State
stateAssignmentOperation.assignStates
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 17
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
Flink状态管理与状态一致性（超级详细）
大数据技术派
04-20 1206
文章目录一、前言二、状态类型2.1、Keyed State2.2、Operator State三、状态横向扩展四、检查点机制4.1、开启检查点 (checkpoint)4.2、保存点机制 (Savepoints)五、状态后端5.1、状态管理器分类5.2、配置方式六、状态一致性6.1、端到端（end-to-end）6.2、Flink+Kafka 实现端到端的 exactly-once语义6.3、Kafka幂等性和事务幂等性事务6.4 两阶段提交协议七、链接文档 关注公众号：Java大数据与数据仓库，回复“
Flink算子扩缩容过程中的状态迁移
shirukai
09-20 1996
Flink算子扩缩容过程中的状态迁移 根据数据量动态调整Flink应用的算子并行度，在实际业务应用中很常见。对于无状态的算子来说，更改算子并行度非常的容易。但对于有状态的算子来说，调整算子并行度时，需要考虑状态的重新分配。之前文章里提到，Flink中的状态分为键值分区状态、算子列表状态、算子聚合状态、广播状态，那么这些状态在并行度改变时，是如何在子任务实例间迁移的？这篇文章，将分别使用代码示例介绍这四种状态的迁移过程。 1 键值分区状态 键值分区状态，是应用在KeyedStream上的算子里使用的状态，关于
flink state restore 流程源码分析
yuchuanchen的专栏
06-28 2062
之前我们了解过 flink checkpoint 流程 和 flink checkpoint 存储策略 ，而当 flink 作业失败恢复或者用户手动从某一个 savepoint/checkpoint 恢复时，就会触发 state restore 流程。下面我们对该流程进行详细分析。 本文代码基于 flink-1.10.1. 和 checkpoint 流程一样，checkpoint state restore 也需要 CheckpointCoordinator 的参与。 CheckpointCoordinat
flink checkpoint 源码分析三-状态的恢复流程
weixin_40809627的博客
09-28 1305
四、状态的恢复流程 todo 结合源码分析：https://blog.jrwang.me/2019/flink-source-code-checkpoint/
Flink状态计算与状态恢复(checkpoint)
weixin_42412645的博客
06-29 1239
通过扩展FlatMapFunction函数来对状态进行累计，通过实现CheckpointedFunction接口实现checkpoint和在初始化。 class CheckpointCount extends FlatMapFunction[(Int,Long),(Int,Long,Long)] with CheckpointedFunction{ /** * The core ...
Flink状态以及故障容错
DataJunGe的博客
04-06 444
State & Fault Tolerance 参考资料：https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/state/ Flink状态使用 Flink中常见的状态大致分为了两类：Keyed State和Operator State. Keyed State:Keyed State is alway...
Flink SQL Size of the state is larger than the maximum permitted memory-backed state
最新发布
SmartSi
10-08 1098
错误日志提示已经很明显，状态大小超过 Checkpoint 持久化存储默认最大值。由于代码中没有指定 CheckpointStorage，因此默认使用 JobManagerCheckpointStorage 存储在内存中，默认大小为 5MB。日志中建议切换到 FileSystemCheckpointStorage 中。注意的是 Flink 1.13 版本将之前的 StateBackend 拆分成新的 StateBackend 和 CheckpointStorage 两个功能。
Flink的State扩容机制
打酱油的葫芦娃
05-27 5571
何为State 为实现增量计算和容错，Flink提出了State机制，本质上State就是用来存放计算过程中各节点的中间结果或元数据等，并提供Exactly-Once语义。 流计算的大部分场景均是增量计算的，数据逐条被处理，每次当前结果均是基于上一次计算结果之上进行处理的，这势必需要将上一次的计算结果进行存储持久化。 目前Flink有3种State存储实现: HeapStateBackend，内存，存放数据量小，用于开发测试，生产环境不建议； FsStateBackend，分布式文件系统(HDFS等)，不
Flink的State与Rescale
tjq980303的博客
08-09 857
Flink的State与Rescale 本文是关于对flink状态在任务rescale下面对的问题以及解决这些问题的设计以及代码实现 状态 状态类别 flink中的状态主要分为两类， Keyed State和Operator State。其中Opertor State是以Operator 实例为粒度的状态，而Keyed State是以数据的key为粒度的，该key被划分到哪个Operator实例决定了这个Key的state在哪个Operator实例，而一个Operator实例是可以同时管理多个Keyed S
flink 关于checkpoint 疑虑 1
08-04
在这种情况下，问题进一步细化为“Could not materialize checkpoint”，即无法实现检查点，原因是“Size of the state is larger than the maximum permitted memory-backed state”。这意味着在尝试保存的状态超过...
Flink Sql on Hive 的生产遇到的坑以及优化（持续更新 ...）
weixin_44500374的博客
01-14 4450
1、HiveSource-xxxx.xxxx’s parallelism (200) is higher than the max parallelism (128). Please lower the parallelism or increase the max parallelism. （1）报错 这是sql-cli 连接hive,查一张表报的错 [ERROR] Could not execute SQL statement. Reason: org.apache.flink.runtime.JobE
Flink parallelism/maxParallelism 作用 源码
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-25 2222
Parallel Execution This section describes how the parallel execution of programs can be configured in Flink. A Flink program consists of multiple tasks (transformations/operators, data sources, and sinks). A task is split into several parallel instances f
hadoop集群服务重启后出错
weixin_33915554的博客
03-12 110
hadoop启动时会检查数据的完整性，当数据完整性小于设置的值时，会一直处于安全模式。可通过修改hdfs_site.xml中的以下参数来修改该配置该参数默认为0.999f<property><name>dfs.safemode.threshold.pct</name><value>0.600f</value> ...
【Flink】Checkpoint 机制和状态恢复
九师兄
02-04 2858
1.概述 转载：Flink 源码阅读笔记（11）- Checkpoint 机制和状态恢复 在上一篇文章中，我们对 Flink 状态管理相关的代码逻辑进行了分析，但为了实现任务的故障恢复以及数据一致性的效果，还需要借助于检查点（Checkpoint）机制。 简单地说，Checkpoint 是一种分布式快照：在某一时刻，对一个 Flink 作业所有的 task 做一个快照（snapshot），并且将快照保存在 memory / file system 等存储系统中。这样，在任务进行故障恢复的时候，就可以还原.
[Flink]Flink1.3 指南四 命令行接口
SmartSi
10-23 8006
Flink提供了一个命令行接口（CLI）用来运行打成JAR包的程序，并且可以控制程序的运行。命令行接口在Flink安装完之后即可拥有，本地单节点或是分布式的部署安装都会有命令行接口。命令行接口启动脚本是 $FLINK_HOME/bin目录下的flink脚本， 默认情况下会连接运行中的Flink master(JobManager)，JobManager的启动脚本与CLI在同一安装目录下。 使用命...
flink学习笔记-dataStream状态保存和恢复（state、checkPoint、State Backend、savePoint）
陈同学
03-24 950
checkPoint保存数据 如果一个task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。从容错和消息处理的语义上(at least once, exactly once)，Flink引入了state和checkpoint。 首先区分一下两个概念 state：一个具体的task/operator的状态【state数据默认保存在java的堆内存中】 checkpo...
一文搞懂Flink rocksdb中的数据恢复
shengjk1的博客
08-12 1292
当我们设置 rocksdb state backend 时，并且从 checkpoint 重启时，首先进入 RocksDBKeyedStateBackendBuilder 的 getRocksDBRestoreOperation 方法 // rockdb restore 入口方法 private AbstractRocksDBRestoreOperation<K> getRocksDBRestoreOperation( int keyGroupPrefixBytes, Closeabl
Flink流计算编程--Flink扩容、程序升级前后的思考
lmalds的专栏
06-23 6223
Flink 扩容
Flink核心解析：流State深度探索与实战
"本文将深度剖析Flink架构设计，并对流State进行详细的讲解，通过案例实战帮助理解并熟练掌握Flink State的使用。" 在大数据处理领域，Apache Flink作为一个实时计算框架，以其高效、低延迟和状态管理能力著称。...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值