使用Hive-JDBC遇到的一些问题解决

最新推荐文章于 2024-07-06 17:51:09 发布
最新推荐文章于 2024-07-06 17:51:09 发布
阅读量2.9w 收藏 8
点赞数 4
分类专栏： hive Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010429286/article/details/78780145
版权
hive 同时被 2 个专栏收录
9 篇文章 0 订阅
订阅专栏
Hive
6 篇文章 1 订阅
订阅专栏

1.java.lang.NoClassDefFoundError: org/apache/hive/service/cli/thrift/TCLIService$Iface

使用JDBC驱动连接到hive的时候，出现了NoClassDefFoundError的错误，提示找不到Iface接口这个类。

Hive版本1.1

java.lang.NoClassDefFoundError: org/apache/hive/service/cli/thrift/TCLIService$Iface
	at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:105)
	at java.sql.DriverManager.getConnection(DriverManager.java:664)
	at java.sql.DriverManager.getConnection(DriverManager.java:208)
	at com.bonc.vbap.data.query.jdbc.spring.datasource.DriverManagerDataSource.getConnectionFromDriverManager(DriverManagerDataSource.java:116)
	at com.bonc.vbap.data.query.jdbc.spring.datasource.DriverManagerDataSource.getConnectionFromDriver(DriverManagerDataSource.java:107)
	at com.bonc.vbap.data.query.jdbc.spring.datasource.DriverManagerDataSource.getConnectionFromDriver(DriverManagerDataSource.java:191)
	at com.bonc.vbap.data.query.jdbc.spring.datasource.DriverManagerDataSource.getConnection(DriverManagerDataSource.java:161)
	at com.bonc.vbap.data.query.jdbc.ConnectionManager.getConnection(ConnectionManager.java:63)
	at com.bonc.vbap.data.schema.jdbc.JdbcSchemaContext$SchemaHelper.getConnection(JdbcSchemaContext.java:308)
	at com.bonc.vbap.data.schema.jdbc.JdbcSchemaContext$SchemaHelper.<init>(JdbcSchemaContext.java:112)
	at com.bonc.vbap.data.schema.jdbc.JdbcSchemaContext.getSchemaHelper(JdbcSchemaContext.java:68)
	at com.bonc.vbap.data.schema.jdbc.JdbcSchemaContext.getSchemaNames(JdbcSchemaContext.java:43)
	at com.bonc.vbap.data.service.impl.SchemaServiceImpl.getSchemaNames(SchemaServiceImpl.java:34)
	at com.bonc.vbap.data.schema.jdbc.TestJdbcColumn.testHiveDataQuery(TestJdbcColumn.java:252)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:50)
	at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)
	at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:52)
	at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)
	at org.springframework.test.context.junit4.statements.RunBeforeTestMethodCallbacks.evaluate(RunBeforeTestMethodCallbacks.java:75)
	at org.junit.internal.runners.statements.RunAfters.evaluate(RunAfters.java:27)
	at org.springframework.test.context.junit4.statements.RunAfterTestMethodCallbacks.evaluate(RunAfterTestMethodCallbacks.java:86)
	at org.springframework.test.context.junit4.statements.SpringRepeat.evaluate(SpringRepeat.java:84)
	at org.junit.runners.ParentRunner.runLeaf(ParentRunner.java:325)
	at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.runChild(SpringJUnit4ClassRunner.java:252)
	at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.runChild(SpringJUnit4ClassRunner.java:94)
	at org.junit.runners.ParentRunner$3.run(ParentRunner.java:290)
	at org.junit.runners.ParentRunner$1.schedule(ParentRunner.java:71)
	at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:288)
	at org.junit.runners.ParentRunner.access$000(ParentRunner.java:58)
	at org.junit.runners.ParentRunner$2.evaluate(ParentRunner.java:268)
	at org.springframework.test.context.junit4.statements.RunBeforeTestClassCallbacks.evaluate(RunBeforeTestClassCallbacks.java:61)
	at org.springframework.test.context.junit4.statements.RunAfterTestClassCallbacks.evaluate(RunAfterTestClassCallbacks.java:70)
	at org.junit.runners.ParentRunner.run(ParentRunner.java:363)
	at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.run(SpringJUnit4ClassRunner.java:191)
	at org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run(JUnit4TestReference.java:86)
	at org.eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:459)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:678)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:382)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main(RemoteTestRunner.java:192)
Caused by: java.lang.ClassNotFoundException: org.apache.hive.service.cli.thrift.TCLIService$Iface
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 44 more
根据错误定位到..HiveDriver类105行的位置 

  public Connection connect(String url, Properties info) throws SQLException {
    return acceptsURL(url) ? new HiveConnection(url, info) : null;
  }
发现在HiveConnection中有调用TCLIService.Iface接口 

...
TCLIService.Iface client = new TCLIService.Client(new TBinaryProtocol(transport));
TOpenSessionResp openResp = client.OpenSession(new TOpenSessionReq());
  if (openResp != null) {
  client.CloseSession(new TCloseSessionReq(openResp.getSessionHandle()));
}
...
在这里抛了找不到Iface的异常，但是点进去TCLIService类中，确是存在Iface接口，所以说找不到不是因为不存在，而是出现重复的类。 

@SuppressWarnings({"cast", "rawtypes", "serial", "unchecked"})
@Generated(value = "Autogenerated by Thrift Compiler (0.9.3)")
public class TCLIService {

  public interface Iface {

    public TOpenSessionResp OpenSession(TOpenSessionReq req) throws org.apache.thrift.TException;

    public TCloseSessionResp CloseSession(TCloseSessionReq req) throws org.apache.thrift.TException;
.....
所以去看下引入的依赖包，发现有hive-service和hive-service-rpc两个包中有相同的源码，所以在这里会抛异常，我就先把这其中一个依赖从hive-jdbc中去除掉，但是发现还是抛异常，我这里用的hive-jdbc1.1版本，发现hive-service是2.1版本，所以立马把两个都去除掉，重新引入一个hive-service进来就好拉 

<dependency>
  <groupId>org.apache.hive</groupId>
  <artifactId>hive-jdbc</artifactId>
  <exclusions>
    <exclusion>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-service-rpc</artifactId>
    </exclusion>
    <exclusion>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-service</artifactId>
    </exclusion>
  </exclusions>
  <version>1.1.0</version>
</dependency>
<dependency>
  <groupId>org.apache.hive</groupId>
  <artifactId>hive-service</artifactId>
  <version>1.1.0</version>
</dependency>

2.上述的问题解决之后，又出现了一个新的问题：java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration

异常详情：

java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
	at org.apache.hive.jdbc.HiveConnection.createBinaryTransport(HiveConnection.java:393)
	at org.apache.hive.jdbc.HiveConnection.openTransport(HiveConnection.java:187)
	at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:163)
	at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:105)
	at java.sql.DriverManager.getConnection(DriverManager.java:664)
	at java.sql.DriverManager.getConnection(DriverManager.java:208)
	at com.bonc.vbap.data.query.jdbc.spring.datasource.DriverManagerDataSource.getConnectionFromDriverManager(DriverManagerDataSource.java:116)
	at com.bonc.vbap.data.query.jdbc.spring.datasource.DriverManagerDataSource.getConnectionFromDriver(DriverManagerDataSource.java:107)
	at com.bonc.vbap.data.query.jdbc.spring.datasource.DriverManagerDataSource.getConnectionFromDriver(DriverManagerDataSource.java:191)
	at com.bonc.vbap.data.query.jdbc.spring.datasource.DriverManagerDataSource.getConnection(DriverManagerDataSource.java:161)
	at com.bonc.vbap.data.query.jdbc.ConnectionManager.getConnection(ConnectionManager.java:63)
	at com.bonc.vbap.data.schema.jdbc.JdbcSchemaContext$SchemaHelper.getConnection(JdbcSchemaContext.java:308)
	at com.bonc.vbap.data.schema.jdbc.JdbcSchemaContext$SchemaHelper.<init>(JdbcSchemaContext.java:112)
	at com.bonc.vbap.data.schema.jdbc.JdbcSchemaContext.getSchemaHelper(JdbcSchemaContext.java:68)
	at com.bonc.vbap.data.schema.jdbc.JdbcSchemaContext.getSchemaNames(JdbcSchemaContext.java:43)
	at com.bonc.vbap.data.service.impl.SchemaServiceImpl.getSchemaNames(SchemaServiceImpl.java:34)
	at com.bonc.vbap.data.schema.jdbc.TestJdbcColumn.testHiveDataQuery(TestJdbcColumn.java:252)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:50)
	at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)
	at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:52)
	at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)
	at org.springframework.test.context.junit4.statements.RunBeforeTestMethodCallbacks.evaluate(RunBeforeTestMethodCallbacks.java:75)
	at org.junit.internal.runners.statements.RunAfters.evaluate(RunAfters.java:27)
	at org.springframework.test.context.junit4.statements.RunAfterTestMethodCallbacks.evaluate(RunAfterTestMethodCallbacks.java:86)
	at org.springframework.test.context.junit4.statements.SpringRepeat.evaluate(SpringRepeat.java:84)
	at org.junit.runners.ParentRunner.runLeaf(ParentRunner.java:325)
	at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.runChild(SpringJUnit4ClassRunner.java:252)
	at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.runChild(SpringJUnit4ClassRunner.java:94)
	at org.junit.runners.ParentRunner$3.run(ParentRunner.java:290)
	at org.junit.runners.ParentRunner$1.schedule(ParentRunner.java:71)
	at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:288)
	at org.junit.runners.ParentRunner.access$000(ParentRunner.java:58)
	at org.junit.runners.ParentRunner$2.evaluate(ParentRunner.java:268)
	at org.springframework.test.context.junit4.statements.RunBeforeTestClassCallbacks.evaluate(RunBeforeTestClassCallbacks.java:61)
	at org.springframework.test.context.junit4.statements.RunAfterTestClassCallbacks.evaluate(RunAfterTestClassCallbacks.java:70)
	at org.junit.runners.ParentRunner.run(ParentRunner.java:363)
	at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.run(SpringJUnit4ClassRunner.java:191)
	at org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run(JUnit4TestReference.java:86)
	at org.eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:459)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:678)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:382)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main(RemoteTestRunner.java:192)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 47 more
这是因为要缺少一个hadoop-common包，引入即可： 

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <version>2.6.5</version>
</dependency>

3. 在使用DatabaseMetaData获取元数据信息时，抛出异常：

"Method not supported"

这是因为HiveDatabaseMetaData在实现DatabaseMetaData接口时，没有做相应方法的实现，这里我使用到的是一个getUserName接口：

  ...
  public String getUserName() throws SQLException {
    throw new SQLException("Method not supported");
  }
  ...
可以看到在 HiveDatabaseMetaData中没有对getUserName支持，所以会抛异常，getUserName方法是获取到当前HiveConnection连接的用户名(Schema名称)，但是这里不支持，那就得另外想办法，这里可以调用HiveConnection中的一个getConnParams方法得到连接参数，再调用getSchema方法获取到Schema名称。代码： 
...
HiveDatabaseMetaData hiveMetaData = (HiveDatabaseMetaData) metadata;
HiveConnection hiveConn = (HiveConnection) hiveMetaData.getConnection();
String hiveSchema = hiveConn.getSchema();
...









小船长的炒菜猫
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hive 安装报错“java.lang.NoClassDefFoundError: org/apache/thrift/TException”
走位风一样的专栏
07-28 1万+
在集群安装hadoop  的情况下，hive 安装在master节点上，安装hive 报错： 如下： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/thrift/TException         at java.lang.Class.forName0(Native Method)      
通过jdbc连接hive报java.sql.SQLException: Method not supported问题
数据开发探索者
12-29 755
jdbc连接hive
SpringBoot报错“java.lang.NoClassDefFoundError: org/springframework/jdbc/datasource/embedded/Embedded”
最新发布
InterfaceToL的博客
07-06 149
问题原因：缺少jdbc相关的jar包。解决方案：pom中添加依赖如下。
Spark jdbc 读取hive报java.sql.SQLException: Method not supported
qq_42213403的博客
06-11 2182
var sourceDF = spark.read.jdbc(url,dbtb,prop).toDF(fields.split(","):_*)
Druid连接hive报错：java.sql.SQLException: Method not supported
weixin_43871547的博客
07-13 2326
CDH+Springboot+druid+hive报错method not supported
Hive SQLException: Method not supported问题
lonelymanontheway的博客
09-17 5945
java.net.SocketTimeoutException: Read timed out； setQueryTimeout； java.sql.SQLException: Method not supported； 升级hive版本；
Jmeter Hive报错java. sql. SQLException: Cannot create PoolableConnectionFactory (Method not supported）
qq_37337660的博客
09-19 359
已解决：java. sql. SQLException: Cannot create PoolableConnectionFactory (Method not supported）
hive-jdbc-uber-2.6.5.0-292.zip
06-11
描述中提到的问题是用户在使用DataGrip尝试连接Hive数据库时遇到困难，但通过这个特定版本的Hive JDBC驱动程序可以成功建立连接。这暗示可能存在兼容性问题，或者是DataGrip内置的默认驱动与某些Hive实例不匹配，而...
hive-jdbc-jar-多版本.zip
07-30
使用这些JDBC驱动时，你需要在Java代码中加载正确的JAR，并通过JDBC URL指定Hive服务器的信息。例如： ```java Class.forName("org.apache.hive.jdbc.HiveDriver"); Connection con = DriverManager.getConnection...
hive-jdbc-1.1.0-cdh5.12.1 连接库 jar包
08-01
这意味着如果你的客户端环境中无法或不便解决所有依赖问题，你可以选择使用这个版本，它会提供一站式的解决方案。 2. `hive-jdbc-1.1.0-cdh5.12.1.jar`：这是一个精简版的jar包，只包含了Hive JDBC的核心类。在使用...
hive-jdbc-0.7.0-pentaho-1.0.2.jar解决kettle取hive数据乱码
12-21
使用kettle抽取hive中的数据时，遇到了取数结果乱码的问题。替换此包可以解决
hive-jdbc-lib.rar
08-28
综上所述，“hive-jdbc-lib.rar”提供了在Dbeaver中使用JDBC连接Hive所需的所有依赖，解决了用户在使用默认驱动时遇到的问题，使得数据操作变得更加便捷。对于需要与Hadoop集群上的Hive交互的开发人员和数据分析师来...
Hive通过JDBC方式访问时碰到的问题汇总
sky 胡萝卜星星
10-19 4579
1、执行hive sql时服务器报Connection refused错误 解决方法：Hive没有启动hive server2，可以通过如下指令启动，指令的后半段是指定日志存放地址hive --service hiveserver2 2>&1 >> /home/user/hive/log.log 2>&1 & 2、执行hive sql时报 xxxx is not allowed to im
远程连接hive报错
鸭梨的博客
01-12 717
Missing class org/apache/hive/service/cli/thrift/TCLIService$Iface. 原因是用了一个古老的CDH版本的hive找不到驱动, Maven Repository: org.apache.hive » hive-jdbc » 1.1.0-cdh5.13.2 https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc/1.1.0-cdh5.13.2 ...
java连接hive类找不着_JDBC 连接 hive2 遇到的java.lang.ClassNotFoundException: org.apache.hive.jdbc.HiveDriver...
weixin_30856775的博客
02-27 2680
JDBC 连接hive2, 程序挺简单, 跟其他数据库查询类似, 连接/执行查询/得到结果package hive.server2.query;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.Statement;public class ApiQue...
hive连接报错-java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration
一立方星空
12-07 2771
hive连接报错-java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration 报错信息： Handler dispatch failed; nested exception is java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration org.springframework.web.util.NestedS
java hiveconf,启动Hive时出错：java.lang.NoClassDefFoundError：org / apache / hadoop / hive / conf / HiveCon...
weixin_32797081的博客
02-16 757
I have downloaded latest stable release of Hive, when I start /usr/local/hive/bin/hive it gives me this error:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/Hiv...
hive没有hive-site.xml
06-21
解决这个问题通常需要手动创建一个Hive-site.xml，并根据Hive的默认配置或具体的环境需求填写必要的内容。如果你正在使用一个新的Hive环境，你可以参考Hive的官方文档或安装包中的示例配置文件来生成这个文件。如果...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值