官方文档:阿帕奇闪光灯 1.12 文档: 配置 (apache.org)
这个错误是在JobManager关闭期间注册TaskManager时会发生这种情况
在flink-conf.ymal文件中加入:
akka.ask.timeout: 50s
web.timeout: 50000
akka.ask.timeout 默认为10 s,如果你加长了这个超时时长,会发现仍然解决不了,你得修改 web.timeout 为大于10000才行
the rpc invocation size exceeds the maximum akka framesize解决办法
原因
Flink 使用 Akka作为组件(JobManager/TaskManager/ResourceManager)之间的 RPC框架。在 JobManager 和 TaskManagers 之间发送的消息的最大大小默认为10485760b。如果消息超过这个限制就会失败,报错。
解决办法
在flink-conf.yaml
中加入akka.framesize
参数,调大该值。
akka.framesize: "10485760b"
如果加配置文件不生效,可在启动命令中加入
-yD akka.framesize="204800000b" -yD akka.ask.timeout=500s -yD web.timeout="5000000"
在使用yarn cluster模式提交flink的任务时候,会涉及到很多内存参数的配置
例如下面的提交命令:
flink run -d -m yarn-cluster -yjm 512 -ytm 5028
-yD jobmanager.memory.off-heap.size=64m
-yD jobmanager.memory.jvm-metaspace.size=128m
-yD jobmanager.memory.jvm-overhead.min=64m
-yD taskmanager.memory.jvm-metaspace.size=128m
-yD taskmanager.memory.jvm-overhead.max=192m
-yD taskmanager.memory.network.max=128m
-yD taskmanager.memory.managed.size=64m -c com.xxx.xxx ./xxx.jar
详细内容请查阅:
(131条消息) JobManager 内存简介_SparkSql的博客-CSDN博客