Flink集群报错误:akka.pattern.AskTimeoutException: Ask timed out on

官方文档:阿帕奇闪光灯 1.12 文档: 配置 (apache.org)

这个错误是在JobManager关闭期间注册TaskManager时会发生这种情况

在flink-conf.ymal文件中加入:

akka.ask.timeout: 50s
web.timeout: 50000

 akka.ask.timeout 默认为10 s,如果你加长了这个超时时长,会发现仍然解决不了,你得修改 web.timeout 为大于10000才行

the rpc invocation size exceeds the maximum akka framesize解决办法

原因
Flink 使用 Akka作为组件(JobManager/TaskManager/ResourceManager)之间的 RPC框架。在 JobManager 和 TaskManagers 之间发送的消息的最大大小默认为10485760b。如果消息超过这个限制就会失败,报错。

解决办法

flink-conf.yaml中加入akka.framesize参数,调大该值。

akka.framesize: "10485760b"

如果加配置文件不生效,可在启动命令中加入

-yD akka.framesize="204800000b"  -yD akka.ask.timeout=500s -yD web.timeout="5000000"

在使用yarn cluster模式提交flink的任务时候,会涉及到很多内存参数的配置

例如下面的提交命令:

flink run -d -m yarn-cluster  -yjm 512 -ytm 5028  
-yD jobmanager.memory.off-heap.size=64m 
-yD jobmanager.memory.jvm-metaspace.size=128m 
-yD jobmanager.memory.jvm-overhead.min=64m 
-yD  taskmanager.memory.jvm-metaspace.size=128m 
-yD taskmanager.memory.jvm-overhead.max=192m 
-yD taskmanager.memory.network.max=128m 
-yD taskmanager.memory.managed.size=64m -c com.xxx.xxx  ./xxx.jar

详细内容请查阅:

(131条消息) JobManager 内存简介_SparkSql的博客-CSDN博客

(131条消息) Flink调优前必须看懂的TaskManager内存模型_SparkSql的博客-CSDN博客

Flink 1.12 内存和提交参数 - 腾讯云开发者社区-腾讯云 (tencent.com) 

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ClassNotFoundException: org.apache.flink.runtime.state.CheckpointStorageException 是一个Java异常,表示无法找到指定的类或接口。在这种情况下,类 org.apache.flink.runtime.state.CheckpointStorageException 在程序的 classpath 中无法找到。 Flink 是一个用于分布式流处理和批处理的开源框架。在 Flink 中,CheckpointStorageException 是一个用于处理状态检查点存储问题的异常类。它是 Flink 的状态后端 (state backend) 在存储检查点期间可能发生的异常的基类之一。 当程序在启动或运行时抛出 ClassNotFoundException: org.apache.flink.runtime.state.CheckpointStorageException 异常时,表示 Flink 在查找或加载与检查点存储相关的类时遇到了问题。这可能是由以下原因引起的: 1. 缺少所需的 Flink 依赖项。解决方法是检查程序的 classpath,确保所有必需的 Flink 依赖项都已包含在其中。可以通过在构建工具 (如 Maven 或 Gradle) 的配置文件中添加正确的依赖项来解决此问题。 2. 版本不匹配。如果程序中使用的 Flink 版本与检查点存储实现版本不匹配,可能会导致 ClassNotFoundException。确保使用的 Flink 版本和检查点存储实现的版本兼容。 3. 检查点存储实现不可用。某些情况下,可能需要自定义检查点存储实现。如果没有正确配置或者实现有问题,可能会导致 ClassNotFoundException。确保正确配置检查点存储实现,并确保它可用并可访问。 总之,ClassNotFoundException: org.apache.flink.runtime.state.CheckpointStorageException 是一个表示无法找到 Flink 检查点存储相关类的异常。解决这个问题通常包括检查程序的依赖项和版本,以及确保正确配置和可访问的检查点存储实现。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值