亲测有效:flink上传jar包出现Server Response Message:Internal server error的解决办法

一:分析是什么

1.先摆问题:

Flink平台Submit New Job中上传Maven package打包后的jar包,填上全类,提交后出现Server Response Message:Internal server error错误

2.查看Log报错,发现是第一张截图中的第二步中填写的全类名在jar包中找不到

3.于是可以初步判定不是虚拟机上Flink的配置错误而是上传的jar包出了问题。通过笔者查找了半天,终于发现了问题所在,在WordCount下的target文件夹中的classes文件夹Maven只编译了maven项目中的src/main/java中的App,没有编译scala中的主类

二:分析为什么

        在Maven中Lifecycle中

        clean会将项目中的target文件夹删除,

        compile会编译项目开始自带的src/main/java,而不会编译自己创建的src/main/scala        

        package会根据你编译后的target文件夹而生成jar包(需要注意:如果没有compile而直接点击package,则Maven会自动为你编译并生成jar包)

        这样就可以理解你package打包成jar包的时候,target类中的classes并不会存在scala中的主类了。

三:解决办法

1.先使用Maven中Lifecycle中的clean,清除target包

 2.再点击Build中的Rebuild  Project

原因:Rebuild Project之后,Maven会自动编译你的整个项目,当然也包括了单独使用Maven中compile没有编译到的src/main/scala文件夹下的主类,并输出到target当中,如下图:

可以发现scala中的主类也被编译到了target中 。

3.再使用Maven中Lifecycle中的package打包即可。

4.再将新生成的jar包添加到flink平台,填入全类名(com.zhj.StreamWordCount),提交即可

可以自动跳转看到:

 查看输出结果:

 END:这样就解决了flink上传jar包出现Server Response Message:Internal server error的问题!

最主要的还是要看报错日志,找到原因,并进行针对性解决。

  • 17
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
如果在使用 Flink 和 Phoenix 时出现jar 包冲突,可以尝试以下解决方法: 1. 排除冲突的 jar 包 在 Maven 或 Gradle 依赖中可以指定排除某些 jar 包的依赖,例如: ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>${flink.version}</version> <exclusions> <exclusion> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> </exclusion> </exclusions> </dependency> ``` 这里排除了 `flink-connector-kafka_2.11` 的依赖中的 `kafka-clients` jar 包。 2. 引入 shade 插件 可以使用 Maven 的 shade 插件将依赖的 jar 包重命名并打包到一个新的 jar 包中,避免 jar 包冲突,例如: ```xml <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.2.3</version> <configuration> <relocations> <relocation> <pattern>com.google.common</pattern> <shadedPattern>shade.com.google.common</shadedPattern> </relocation> </relocations> </configuration> </plugin> ``` 这里将依赖的 `com.google.common` 包重命名为 `shade.com.google.common`。 3. 修改 Flink 的 classpath 可以将依赖的 jar 包放到 Flink 的 classpath 中,例如在启动 Flink JobManager 或 TaskManager 时指定 classpath: ``` ./bin/flink run -m yarn-cluster -yn 3 -c com.acme.MyFlinkJob -classpath "/path/to/dependency/*" /path/to/MyFlinkJob.jar ``` 这里将依赖的 jar 包放到了 `/path/to/dependency/` 目录下,并通过 `-classpath` 参数将该目录下所有 jar 包加入到 Flink 的 classpath 中。 希望这些方法可以帮助你解决 jar 包冲突问题。
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值