org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Failed

最新推荐文章于 2023-10-25 10:30:34 发布

.。.。.。...

最新推荐文章于 2023-10-25 10:30:34 发布

阅读量4.7k

点赞数

文章标签： apache flink intellij-idea

本文链接：https://blog.csdn.net/weixin_60811028/article/details/124574322

版权

在Linux环境中运行Flink CDC任务时遇到异常，由于Flink 1.14.4版本缺少Hadoop集成，导致任务失败。为解决此问题，需要下载flink-shaded-hadoop-2-uber jar包，并将其上传到Flink的lib目录下，然后重启Flink服务，最终成功执行任务。

摘要由CSDN通过智能技术生成

在idea上执行flinkCDC是正常的，结果到了Linux上报异常：

Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.
        at org.apache.flink.core.fs.UnsupportedSchemeFactory.create(UnsupportedSchemeFactory.java:55)
        at org.apache.flink.core.fs.FileSystem.getUnguardedFileSystem(FileSystem.java:528)

原因：我的1.14.4版本的Flink没有Hadoop集成，因此无法直接操作HDFS

下载相关jar包

https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-7.0/flink-shaded-hadoop-2-uber-2.7.5-7.0.jar

上传到flink/lib下

重启flink

ok，任务提交成功