You may be missing the 'flink-hadoop-compatibility' dependency.

 The program finished with the following exception:

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error.
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:546)
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:421)
        at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:427)
        at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:813)
        at org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:287)
        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
        at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1050)
        at org.apache.flink.client.cli.CliFrontend.lambda$main$11(CliFrontend.java:1126)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869)
        at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
        at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1126)
Caused by: java.lang.RuntimeException: Could not load the TypeInformation for the class 'org.apache.hadoop.io.Writable'. You may be missing the 'flink-hadoop-compatibility' dependency.
        at org.apache.flink.api.java.typeutils.TypeExtractor.createHadoopWritableTypeInfo(TypeExtractor.java:2082)
        at org.apache.flink.api.java.typeutils.TypeExtractor.privateGetForClass(TypeExtractor.java:1701)
        at org.apache.flink.api.java.typeutils.TypeExtractor.privateGetForClass(TypeExtractor.java:1643)
        at org.apache.flink.api.java.typeutils.TypeExtractor.createTypeInfoWithTypeHierarchy(TypeExtractor.java:921)
        at org.apache.flink.api.java.typeutils.TypeExtractor.privateCreateTypeInfo(TypeExtractor.java:781)
        at org.apache.flink.api.java.typeutils.TypeExtractor.createTypeInfo(TypeExtractor.java:735)
        at org.apache.flink.api.java.typeutils.TypeExtractor.createTypeInfo(TypeExtractor.java:731)
        at com.geotmt.batch.datamove.Hdfs2Hive$$anon$4.<init>(Hdfs2Hive.scala:46)
        at com.geotmt.batch.datamove.Hdfs2Hive$.main(Hdfs2Hive.scala:46)
        at com.geotmt.batch.datamove.Hdfs2Hive.main(Hdfs2Hive.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:529)
        ... 12 more

 

解决方案:

      弄一个 flink-hadoop-compatibility_2.11-1.7.2.jar ,放在/data1/apps/opt/flink-1.7.1/lib/下即可

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
flink-shaded-hadoop-3-uber.jar是一个用于Flink的Hadoop 3.x Uber JAR包。Hadoop是一个用于处理大规模数据的开源分布式计算框架,而Flink则是另一个用于流处理和批处理的分布式计算框架。 Hadoop 3.x是Hadoop的最新版本,相比于之前的版本,它引入了许多新的功能和改进。flink-shaded-hadoop-3-uber.jar被用来解决Flink与Hadoop 3.x版本之间的兼容性问题。它包含了Flink所需的Hadoop 3.x依赖的库文件和代码,并将它们以Uber JAR的形式打包在一起。 Uber JAR是将一个应用程序和其所有依赖打包为一个独立的JAR文件的方法。flink-shaded-hadoop-3-uber.jar是一个包含了Flink与Hadoop 3.x兼容性所需的所有库文件和代码的Uber JAR文件。这样,当我们在使用Flink与Hadoop 3.x进行分布式计算时,只需要将这个Uber JAR文件添加到我们的Flink应用程序中,就可以正常运行。 通过使用flink-shaded-hadoop-3-uber.jar,Flink能够利用Hadoop 3.x的新功能和改进,例如支持更高的数据可靠性、更高的性能和更好的容错性。此外,由于所有必需的库文件和代码都被打包在一起,我们可以简化配置和部署过程,减少潜在的兼容性问题。 总之,flink-shaded-hadoop-3-uber.jar是一个用于解决Flink与Hadoop 3.x兼容性问题的Uber JAR文件,它包含了Flink所需的Hadoop 3.x依赖的所有库文件和代码,能够让我们更方便地使用Flink与Hadoop 3.x进行分布式计算。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值