hive-exec.jar与Simba JDBC For Google Bigquery依赖jar包冲突问题解决方案

hive-exec.jar与Simba JDBC For Google Bigquery依赖jar包冲突问题解决方案

问题背景

在实际项目中,当我们同一个项目的maven依赖同时依赖hive-exec.jar和Simba JDBC For Google Bigquery依赖的guava.jar包时,在运行项目时,会报错找不到exhaust方法。

网上查询了其他人的解决方案: hive-exec包guava冲突解决

问题产生原因

原因是hive-exec.jar中依赖了guava.jar,guava版本为14.0.1,而JDBC For Google Bigquery依赖的guava.jar包为30.1.1-android,利用反编译软件Luyten查看这两个jar包中com.google.common.io这个包中的ByteStreams类中是否含有exhaust方法,
在这里插入图片描述
在这里插入图片描述
由上可见,在guava.jar中是有exhaust方法的,但是hive-exec.jar中却没有。由于guava.jar是无法向下兼容的。所以必须让两个版本同时存在,所以无法使用maven的exclusion这种方法来排除低版本的依赖。

问题解决方案

试了网上很多解决方法之后,我发现了一个解决冲突的神器——maven-shade-plugin插件。使用这种插件可以完全解决,两种不同版本的jar同时存在一个项目的问题。解决具体步骤如下:

  1. 将引用高版本和低版本的pom依赖区分开,创建一个新的module,将所有的高版本或所有的低版本的pom依赖放在该module的pom中,如下所示:

在这里插入图片描述

  1. 添加插件maven-shade-plugin。
<build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <createDependencyReducedPom>true</createDependencyReducedPom>
                            <relocations>
                                <!-- 多个包需要替换使用多个relocation-->
                                <relocation>
                                    <!-- pattern 为需要匹配的前缀-->
                                    <pattern>com.google.common</pattern>
                                    <!-- shadedPattern 为替换成什么前缀-->
                                    <shadedPattern>com.shade.google.common</shadedPattern>
                                </relocation>
                            </relocations>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
  1. 使用maven编译打包,会发现有两个jar包,一个是原始的jar包,一个是经过插件处理的jar包。在这里插入图片描述
  2. 使用反编译软件分别打开test-1.0-SNAPSHOT.jar包,如下:
    在这里插入图片描述
    在这里插入图片描述
  3. 将test-1.0-SNAPSHOT.jar上传到公司的maven库里面,然后再依赖公司的maven库中的依赖就可以成功运行了,这样依赖冲突的问题就完全解决了。

结论

产生问题的原因是:同一jar包,不同版本在同一个项目中时,高版本在调用方法时,由于包的路径是一样的,maven有可能只加载了低版本的jar包方法,从而导致了找不到类或方法。maven-shade-plugin插件的功能其实就是可以将jar包中包的路径用别名替换,可以将包中的所有import包的路径全都替换为别名,这样就使得同一jar包不同版本的包的路径不一样,这样jvm就会同时加载高低两个版本的jar包,就不会提示找不到该方法啦。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值