flink任务jar包冲突解决方案 maven项目protobuf-java的jar包和集群上的jar包冲突解决方案

pom中解决冲突后,上传至集群,偶尔成功,偶尔jar包冲突,原因:集群是jvm的类加载器是随机加载的,所以将pom中打包的时候对相关jar包进行重命名,问题解决

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-shade-plugin</artifactId>
    <version>3.1.0</version>
    <executions>
        <execution>
            <phase>package</phase>
            <goals>
                <goal>shade</goal>
            </goals>
            <configuration>
                <relocations>
                    <relocation>
                        <pattern>com.google.protobuf</pattern>
                        <shadedPattern>org.apache.flink.shaded.rename.com.google.protobuf</shadedPattern>
                    </relocation>
                </relocations>
            </configuration>
        </execution>
    </executions>
</plugin>
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
如果在使用 Flink 和 Phoenix 时出现了 jar冲突,可以尝试以下解决方法: 1. 排除冲突jar 包 在 Maven 或 Gradle 依赖中可以指定排除某些 jar 包的依赖,例如: ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>${flink.version}</version> <exclusions> <exclusion> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> </exclusion> </exclusions> </dependency> ``` 这里排除了 `flink-connector-kafka_2.11` 的依赖中的 `kafka-clients` jar 包。 2. 引入 shade 插件 可以使用 Maven 的 shade 插件将依赖的 jar 包重命名并打包到一个新的 jar 包中,避免 jar冲突,例如: ```xml <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.2.3</version> <configuration> <relocations> <relocation> <pattern>com.google.common</pattern> <shadedPattern>shade.com.google.common</shadedPattern> </relocation> </relocations> </configuration> </plugin> ``` 这里将依赖的 `com.google.common` 包重命名为 `shade.com.google.common`。 3. 修改 Flink 的 classpath 可以将依赖的 jar 包放到 Flink 的 classpath 中,例如在启动 Flink JobManager 或 TaskManager 时指定 classpath: ``` ./bin/flink run -m yarn-cluster -yn 3 -c com.acme.MyFlinkJob -classpath "/path/to/dependency/*" /path/to/MyFlinkJob.jar ``` 这里将依赖的 jar 包放到了 `/path/to/dependency/` 目录下,并通过 `-classpath` 参数将该目录下所有 jar 包加入到 Flink 的 classpath 中。 希望这些方法可以帮助你解决 jar冲突问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值