SpringBoot连接Hive问题

        业务上需要在一个SpringBoot应用里添加支持Hive数据库,Hive数据库的版本未知,可以通过DBeaver连接。在DBeaver上执行select version(),报错,无法获取Hive数据库的版本。

        通常情况下要连接Hive数据库,首先我们会想着用apache的hive-jdbc。hive-jdbc的配置较为复杂,里面有很多其他的依赖,这些依赖又容易跟其他依赖发生冲突,如下图:

        在pom.xml里面只引入一个hive-jdbc还是不够的,通常还需要引入其他几个依赖,如下:

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>1.1.0</version>
            <exclusions>
                <exclusion>
                    <groupId>org.eclipse.jetty.aggregate</groupId>
                    <artifactId>*</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.logging.log4j</groupId>
                    <artifactId>log4j-slf4j-impl</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.log4j</groupId>
                    <artifactId>org.apache.hive.org.apache.log4j</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>log4j</groupId>
                    <artifactId>log4j</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.5</version>
            <exclusions>
                <exclusion>
                    <artifactId>servlet-api</artifactId>
                    <groupId>javax.servlet</groupId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.logging.log4j</groupId>
                    <artifactId>log4j-slf4j-impl</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.log4j</groupId>
                    <artifactId>org.apache.hive.org.apache.log4j</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>log4j</groupId>
                    <artifactId>log4j</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>jdk.tools</groupId>
                    <artifactId>jdk.tools</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        可以看到,整个配置极其复杂。配置好后,应用顺利启动,但测试数据库连接时,一直报错误:hive required field client_protocol is unset。在网上搜索了好些文章,基本上都是说hive-jdbc的版本和服务器上的hive版本不一致所致,通过断点跟踪,确实是由于服务器端返回这条错误信息,先后更换了好几个hive-jdbc版本,都无法解决。

        由于DBeaver可以正常连接hive,而DBeaver本质上也是通过对应的jdbc驱动jar包来连接的,通过研究,发现DBeaver是使用commons-cli的 inceptor-driver来连接,最后将pom.xml中所有hive-jdbc相关依赖删除,改用inceptor-driver驱动,依赖如下:

        <dependency>
            <groupId>commons-cli</groupId>
            <artifactId>inceptor-driver</artifactId>
            <version>1.0.0</version>
        </dependency>

        再次连接hive测试,连接正常,不再报错。结论:使用inceptor-driver连接hive,只需要一个依赖,配置简单,也不会有依赖冲突。

  • 5
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值