Flink集群启动报错 org.apache.flink.client.deployment.ClusterDeploymentException

最新推荐文章于 2024-04-30 17:01:14 发布
最新推荐文章于 2024-04-30 17:01:14 发布
阅读量8.2k 收藏 6
点赞数 6
分类专栏： Flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44393345/article/details/106517394
版权

org.apache.flink.client.deployment.ClusterDeploymentException Couldn’t deploy Yarn

出现此类错误，主要的原因是Current usage: 75.1 MB of 1 GB physical memory used; 2.1 GB of 2.1 GB virtual memor
y used. Killing container.

字面原因是容器内存不够，实际上是flink on yarn启动时检查虚拟内存造成的

所以修改配置文件，让它不检查就没事了

修改etc/hadoop/yarn-site.xml

<property> 

    <name>yarn.nodemanager.vmem-check-enabled</name> 

    <value>false</value> 

</property>
十一师兄
关注
  • 6
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink-connector-clickhouse.jar
10-19
flinkSQL clickhouse连接器
Flink on yarn Couldn‘t deploy Yarn cluster或者The YARN application unexpectedly switched to state FAIL
热门推荐
Joseph25的博客
03-28 1万+
Error while deploying YARN cluster: Couldn't deploy Yarn cluster java.lang.RuntimeException: Couldn't deploy Yarn cluster at org.apache.flink.yarn.AbstractYarnClusterDescriptor.deploy(AbstractYarnCl...
Apache Flink（flink-1.14.4-src.tgz）
05-07
Apache Flink（flink-1.14.4-src.tgz）是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。
[1133]flink问题集锦
周小董
04-23 5661
文章目录 问题1： Could not get job jar and dependencies from JAR file: JAR file does not exist: -yn 原因：flink1.8版本之后已弃用该参数，ResourceManager将自动启动所需的尽可能多的容器，以满足作业请求的并行性。解决方法：去掉即可 问题2： java.lang.IllegalStateException: No Executor found. Please make sure to export t
Flink on yarn 问题梳理
Jhon_yh的博客
06-30 2645
文章目录1. Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster. 1. Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster. 解决办法： 在 flink 配置文件里 flink-co
org.apache.flink.client.deployment.ClusterDeploymentException: Couldn‘t deploy Yarn session cluster
A1585570507的博客
03-19 4032
flink集群启动异常如下： org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't deploy Yarn session cluster at org.apache.flink.yarn.YarnClusterDescriptor.deploySessionCluster(YarnClusterDescriptor.java:381) at org.apache.flink.yar
The main method caused an error: Could not deploy Yarn job cluster.
qq_34009542的博客
12-22 2877
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Could not deploy Yarn job cluster. Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster. Caused by...
Flink : Couldn’t deploy Yarn session cluster
ztx22555的博客
08-23 705
Flink : Couldn’t deploy Yarn session cluster
flink k8s HA 报ClusterRetrieveException: Could not get the rest endpoint
csdn问鼎
04-25 406
从源码中可以看到实现上的jobmanager 这个svc要以flink-cluster-rest 来命名才能解析到jobmanager地址。我是在用flink sql-client 提交任务发现的这个问题。
在flink集群中运行jar包出ClusterRetrieveException: Couldn‘t retrieve Yarn cluster问题的解决办法
onthe_wing的博客
08-30 3052
如果将idea上的flink代码打包运行在flink集群上，出现如下问题 有两方面需要考虑： 一、修改yarn-site.xml配置文件，原因是可能内存超过虚拟内存的限制，所以需要对yarn进行虚拟内存限制修正，将如下两个配置改为false <property> //pmem指的是默认检查物理内存,容器使用的物理内存不能超过我们限定的内存大小,因为我们上面设置了所有容器能够使用的最大内存数量,超出这个内存限制,任务就会被kill掉 <name>yarn.nodema
Apache Flink（flink-1.15.0-src.tgz）
05-07
Apache Flink（flink-1.15.0-src.tgz）是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以...
Flink 中文文档资料.zip
01-17
flink Flink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料...
flink集群搭建包.zip
06-14
flink-shaded-hadoop-2-uber-2.7.5-7.0.zip 和 flink-1.8.1-bin-scala_2.11.tgz
Flink入门 wordcount——Java （代码）
weixin_44393345的博客
06-03 1458
官网讲解连接 https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/batch/index.html#example-program 导入jar包 本地安装的是1.0版本的，修改成自己对应版本即可 <!--java 依赖包导入--> <dependency> <groupId>org.apache.flink</groupId> <artifactId>fl
Flink DataSet API编程 (一) 数据集转换
weixin_44393345的博客
06-03 611
jar包导入查看 https://blog.csdn.net/weixin_44393345/article/details/106525426 数据转换将一个或多个数据集转换为新的数据集。程序可以将多种转换组合成复杂的程序集。 程序运行主代码 import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.operators.*; /** * @program: Flink .
Flink checkpoint 源码分析- Flink Checkpoint 触发流程分析
TONIYH的博客
04-29 662
Flink的checkpoint的过程依赖于异步屏障快照算法，该算法在《Lightweight Asynchronous Snapshots for Distributed Dataflows》这篇paper中被提出。理解了这篇paper也就明白了flink的chekpoint机制。paper整体来说比较简单易懂，这篇博文主要是介绍flink中checkpoint触发流程。持续分析学习~
Flink checkpoint 源码分析- Checkpoint barrier 传递源码分析
最新发布
TONIYH的博客
04-30 573
在上一篇的博客里，大致介绍了flink checkpoint中的触发的大体流程，现在介绍一下触发之后下游的算子是如何做snapshot。
7、Flink 自定义 WaterMarkGenerator 案例
猫猫爱吃小鱼粮
04-29 474
Flink 自定义 WaterMarkGenerator 案例
flink写入hbase报错org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy
06-07
这个错误信息表明 Flink 作业遇到了无法恢复的错误并且已经停止了。在这种情况下，Flink 使用 NoRestartBackoffTimeStrategy 来防止无限重启作业。 要解决这个问题，你需要先了解导致作业失败的原因。可能是你的 HBase 配置有误，导致 Flink 在写入 HBase 时发生了错误。你可以检查一下 Flink 作业日志，看看是否有更详细的错误信息。如果有，可以根据错误信息来排查问题。 另外，你也可以尝试使用 Hadoop 的 Configuration 对象来配置 HBase 连接，例如： ```java Configuration config = HBaseConfiguration.create(); config.set("hbase.zookeeper.quorum", "localhost"); config.set("hbase.zookeeper.property.clientPort", "2181"); config.set("hbase.master", "localhost:60000"); ``` 然后在 Flink 的代码中使用这个 Configuration 对象来连接 HBase。 如果以上方法都无法解决问题，你可以考虑联系 Flink 社区来获取更多帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值