【Flink检查点/保存点提交】Flink提交报错与检查点生成多个问题

已于 2022-09-27 23:54:54 修改
阅读量679 收藏
点赞数
分类专栏： # Flink检查点/保存点提交 文章标签： flink flink检查点 flink保存点 flink提交 flink提交报错
于 2022-09-27 23:24:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33982605/article/details/127080712
版权

目录

1 报错1

提交报错：

  • Flink1.8.0之后不支持hadoop编译，故会导致我程序在集群上运行时报错

解决办法：

  • 下载flink-shaded-hadoop-2-uber-2.7.5-7.0.jar包，并将其放到对应的集群flink所有节点下的的lib目录下，之后重启Flink
    在这里插入图片描述

2 报错2

提交报错

  • java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction1 m c V I mcVI mcVIsp

解决办法：

  • 原因是，我的代码编译使用的是scala 2.12.8，我切换成了2.11.4就可以了

3 报错3

INFO ApplicationMaster:54 - Final app status: FAILED, exitCode: 13, (reason: Uncaught exception: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested virtual cores < 0, or requested virtual cores > max configured, requestedVirtualCores=6, maxVirtualCores=4

解决办法

  • 简单说就是任务请求6vcores，但是集群最大就4vcore，所以报错
  • 修改yarn-site.xml中的
    yarn.scheduler.maximum-allocation-vcores

3 Flink检查点生成多个

  • Flink的检查点默认是生成一个，想要生成多个需要在conf/flink-conf.yaml中添加如下的参数，在这里我设置的是让其生成2个
state.checkpoints.num-retained: 2
Recall-MK
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink状态管理与检查点机制.md
08-07
Flink状态管理与检查点机制，进阶篇
分享一个Flink checkpoint失败的问题和解决办法
HeapDump性能社区的博客
08-14 2379
本文来自: PerfMa技术社区 PerfMa(笨马网络)官网 接触Flink一段时间了，遇到了一些问题，其中有一个checkpoint失败导致作业重启的问题，遇到了很多次，重启之后一般也能恢复正常，没有太在意，最近2天有同事又频繁遇到，这里记录一下解决方案和分析过程。 我们的flink测试环境有3个节点，部署架构是每个flink节点上部署一个HDFS的DataNode节点，hdfs用于flink的checkpoint和savepoint 现象 看日志是说有个3个datanode活着，文件副本是1，但.
flink 容错机制（检查点的保存、恢复、检查点算法、保存点、状态一致性的三种级别、end-to-end exactly-once）
goTsHgo的博客
06-21 240
flink 容错机制（检查点的保存、恢复、检查点算法、保存点、状态一致性的三种级别、end-to-end exactly-once）
Flink-容错机制-检查点相关内容
clearlxj的博客
09-01 191
检查点(checkpoint) 一致性检查点(Checkpoints) Flink 故障恢复机制的核心,就是应用状态的一致性检查点 有状态流应用的一致检查点,其实就是所有任务的状态,在某个时间点的一份拷贝(一份快照);这个时间点,应该是所有任务都恰好处理完一个相同的输入数据的时候 以上图为从1开始的整数 数据，sum_even为偶数求和，sum_odd为奇数求和，以上已经完成了1-5的相关求和。 从检查点恢复状态 在执行流应用程序期间,Flink 会定期保存状态的一致检查点 如果发生故障, Flink
flink 设置checkpoint路径遇到的部署问题[Cannot support file system for ‘hdfs‘ via Hadoop]
乾坤瞬间的博客
06-27 1963
flink 设置ck遇到的部署遇到的问题 1、 增加 core-site.xml文件 和 hdfs-site.xml 这两个文件需要在集群的hadoop集群中找 2、 需要在main方法中添加 3、 需要在项目中引入 hadoop版本通过 4、 添加 checkpoint路径前提是flink用户需要有hdf集群的查看权限如果使用 rockeddbStateBackEnd需要添加依赖 以上是设置增量ck需要做的代码设置。配置rocksdb保存checkpoint时，idea运行报错5、 确定设置了 Co
千万别踩坑，一面就凉透！Java+数据库+Linux+缓存+算法+Redis+网络等等没一个能讲清楚的！
weixin_47082274的博客
11-28 1750
面试大概九十分钟，问的东西很全面，需要做充足准备，就是除了概念以外问的有点懵逼了（呜呜呜~）。回来之后把这些题目做了一个分类并整理出答案（强迫症的我~狂补知识~）分为Java+数据库+Linux+缓存+算法+网络等六类，接下来分享一下我的这次美团一面面经++一些我的学习笔记。 注意：篇幅有限，大部分整理的Java+数据库+Linux+缓存+算法网络等六类面试答案、进阶学习笔记、思维脑图（xmind）皆以截图形式展现，但可提供分享所有的原件给每位学习的朋友 快速下载传送通道——“点点点点点点......
【Flink检查点/保存点提交】Flink检查点与保存点的不同
大白
09-30 187
保存点和检查点内部的生成算法是一致的，工作方式也一致，但保存点相比较检查点有什么不同呢？b) 保存点：由用户通过flink命令行或者web控制台进行手动触发。保存点相比较检查点来说存储了更为详细的一些元数据信息。a) 检查点：通过代码进行生成。
【Flink检查点/保存点提交】Flink检查点和保存点(何时生成|何时创建|何时启动|何时触发)
大白
10-08 644
flink检查点在什么情况下触发，flink检查点如何重新运行，flink保存点在什么情况下触发 flink如何在不取消当前应用时创建保存点 flink如何在去顶当前flink应用之前生成保存点 flink如何从保存点处启动程序，flink启动时遇到的问题
Flink实例（六十三）: Flink检查点/保存点提交
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1003
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 检查点生成多个   Flink的检查点默认是生成一个，想要生成多个可以在conf/flink-conf.yaml中添加如下的参数，在这里我设置的是让其生成2个：state.checkpoints.num-retained: 2 如何通过检查点重新提交?   保存点和检查点内部的生成算法是一致的，工作方式也一致，但保存点相比较检查点有什么不同呢？   保存点与检查点有什么不同？ 生成
FlinK之检查点与保存点机制
积跬步，至千里。
11-08 1024
在 Flink 中，检查点是用于实现状态一致性和故障恢复的关键机制。检查点功能可确保作业的状态在发生故障时能够进行可靠地恢复。
Flink状态管理和检查点机制项目代码.rar
10-19
通过检查点机制，Flink 定期在数据流上生成 checkpoint barrier ，当某个算子收到 barrier 时，即会基于当前状态生成一份快照，然后再将该 barrier 传递到下游算子，下游算子接收到该 barrier 后，也基于当前状态...
Flink单任务恢复和区域检查点.pdf
03-13
Flink单任务恢复和区域检查点.pdf
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
当 Flink 任务提交后，只有遇到 1.程序错误、2.人为 Cancel掉，任务就会停止。 1. 任务异常，设置保存 CheckPoint 中途数据不被删除  如果现在有个任务已经执行很长时间，这样就突然停止了，那么中间过程处理结果...
Flink笔记(十八)：Flink 之 StateBackend 介绍 & 使用
01-07
 当检查点（CheckPoint）机制启动时，状态将在检查点中持久化来应对数据的丢失以及恢复。而1.状态在内部是如何表示的？ 2.状态是如何持久化到检查点中以及3.持久化到哪里都取决于选定的StateBackend。 2.可用的...
Flink checkpoint 源码分析- Checkpoint barrier 传递源码分析
TONIYH的博客
04-30 902
在上一篇的博客里，大致介绍了flink checkpoint中的触发的大体流程，现在介绍一下触发之后下游的算子是如何做snapshot。
pyflink filter
zhaoyangjian724的专栏
04-30 618
import reimport sysreturn {passdict1 = {}!!
11、Flink 的 Keyed State 详解
猫猫爱吃小鱼粮
05-01 1222
Flink 的 Keyed State 详解
pyflink求最大值
最新发布
zhaoyangjian724的专栏
05-04 163
该方法通过第一位(也就是key列)分区后，然后根据value列相加分别统计总数。# sum的参数可以是列名，也可以是position。
flink检查点设置
01-09
在Flink中，可以通过配置来设置检查点的行为和存储位置。以下是设置Flink检查点的步骤： 1. 配置检查点的行为： - 如果希望在取消作业时保留检查点，可以将`ExternalizedCheckpointCleanup`设置为`RETAIN_ON_CANCELLATION`。这意味着在正常取消作业时，检查点将被保留下来，并且在重新启动作业时可以使用。 - 如果希望在取消作业时删除检查点，可以将`ExternalizedCheckpointCleanup`设置为`DELETE_ON_CANCELLATION`。这意味着在取消作业时，检查点将被删除，但如果任务失败，可以从检查点恢复任务。 2. 配置检查点的存储位置： - 默认情况下，检查点是保存在JobManager（JM）的内存中的。如果任务取消或失败，检查点将丢失。为了将检查点保存在外部分布式文件系统中，需要进行以下配置： - 在Flink的配置文件`flink-conf.yaml`中，设置`state.checkpoints.dir`属性为外部文件系统的路径。例如：`state.checkpoints.dir: hdfs://localhost:9000/flink-checkpoints` - 在启动Flink应用程序时，可以通过`-s`选项指定检查点的元数据路径。例如：`bin/flink run -s hdfs://localhost:9000/flink-checkpoints` 请注意，为了实现容灾，仅将检查点保存在外部系统中是不够的。还需要确保Flink处理的数据源是可重放的，例如消息队列和各种文件系统。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值