Flink 任务提交失败 Could not deploy Yarn job cluster

最新推荐文章于 2024-07-23 21:43:17 发布

꧁꫞ND꫞꧂

最新推荐文章于 2024-07-23 21:43:17 发布

阅读量1w

点赞数 1

分类专栏： Flink

本文链接：https://blog.csdn.net/Baron_ND/article/details/108468294

版权

本文介绍了在Flink任务中遇到的问题，当尝试读取Hbase和HDFS数据并加入特定依赖后，在本地运行正常，但在部署到Yarn集群时出现错误。解决方案是仅保留必要的依赖，并在打包时排除不必要的文件，以避免Yarn集群运行时的报错。

摘要由CSDN通过智能技术生成

1.Flink提价任务，读取Hbase数据和hdfs数据，需要单独倒入一些hbase的依赖jar，所以加入了maven依赖，本地能正常测试运行，但是发布到yarn上运行报错，所以测试读取hdfs文件的时候，去掉依赖就可以了。

2.加入打包依赖的时候，注意加入过滤不需要的文件，不然会报错。

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Could not deploy Yarn job cluster.
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:302)
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:198)
        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:149)
        at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:699)
        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:232)
        at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:916)
        at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.j