业务上需要在一个SpringBoot应用里添加支持Hive数据库,Hive数据库的版本未知,可以通过DBeaver连接。在DBeaver上执行select version(),报错,无法获取Hive数据库的版本。
通常情况下要连接Hive数据库,首先我们会想着用apache的hive-jdbc。hive-jdbc的配置较为复杂,里面有很多其他的依赖,这些依赖又容易跟其他依赖发生冲突,如下图:
在pom.xml里面只引入一个hive-jdbc还是不够的,通常还需要引入其他几个依赖,如下:
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>1.1.0</version>
<exclusions>
<exclusion>
<groupId>org.eclipse.jetty.aggregate</groupId>
<artifactId>*</artifactId>
</exclusion>
<exclusion>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-slf4j-impl</artifactId>
</exclusion>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
<exclusion>
<groupId>org.apache.log4j</groupId>
<artifactId>org.apache.hive.org.apache.log4j</artifactId>
</exclusion>
<exclusion>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.5</version>
<exclusions>
<exclusion>
<artifactId>servlet-api</artifactId>
<groupId>javax.servlet</groupId>
</exclusion>
<exclusion>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-slf4j-impl</artifactId>
</exclusion>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
<exclusion>
<groupId>org.apache.log4j</groupId>
<artifactId>org.apache.hive.org.apache.log4j</artifactId>
</exclusion>
<exclusion>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
</exclusion>
<exclusion>
<groupId>jdk.tools</groupId>
<artifactId>jdk.tools</artifactId>
</exclusion>
</exclusions>
</dependency>
可以看到,整个配置极其复杂。配置好后,应用顺利启动,但测试数据库连接时,一直报错误:hive required field client_protocol is unset。在网上搜索了好些文章,基本上都是说hive-jdbc的版本和服务器上的hive版本不一致所致,通过断点跟踪,确实是由于服务器端返回这条错误信息,先后更换了好几个hive-jdbc版本,都无法解决。
由于DBeaver可以正常连接hive,而DBeaver本质上也是通过对应的jdbc驱动jar包来连接的,通过研究,发现DBeaver是使用commons-cli的 inceptor-driver来连接,最后将pom.xml中所有hive-jdbc相关依赖删除,改用inceptor-driver驱动,依赖如下:
<dependency>
<groupId>commons-cli</groupId>
<artifactId>inceptor-driver</artifactId>
<version>1.0.0</version>
</dependency>
再次连接hive测试,连接正常,不再报错。结论:使用inceptor-driver连接hive,只需要一个依赖,配置简单,也不会有依赖冲突。