liunx系统使用Hive-JDBC连接hive一直等待

已于 2022-08-04 19:17:09 修改
阅读量754 收藏
点赞数
分类专栏： Linux 文章标签： hive 大数据 hadoop
于 2022-08-04 19:16:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dengshanzhe3Q/article/details/126164939
版权

现象：在本地测试hive-jdbc 可以正常访问，但是打包发布liunx系统中，jdbc连接hive 一直卡住，日志无报错

排查过程：

首先 排查网络是否 telnet ip port 是通的

第二 怀疑是依赖hive-jdbc <exclude> 排包问题，去除排除的包，重新发布，还是依然无法连接

第三  使用arthas 跟踪创建连接方法，但是依然没有报错

第四  终极办法 使用远程debug，发现创建连接的时候 报 notFoundClassError异常 ，org/apache/hadoop/conf/Configuration，它是hadoop-common 包中的类，在lib文件间中未找到，但是项目中pom.xml 已经依赖，查看 assembly.xml 打包控制文件，发现 hadoop相关的类在打包 时排除了！

放开限制后，重新打包，发布到服务器时，创建连接成功！

dengshanzhe3Q
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive-jdbc-3.1.2-standalone
07-18
hive-jdbc-3.1.2-standalone适用于linux
jdbc连接hive超时的问题
山鹰的专栏
07-07 7920
jdbc连接hive 超时的问题，原因：1.hadoop服务没有启动，2.hive服务没有启动、3.防火墙没有关闭。
Hive查询慢的那点事
weixin_44953126的博客
11-03 5820
当你用jdbc对HiveServer2做一些查询的时候，有时候会遇到一些延时，为了查找原因，我们可以收集jstack dump日志，它可以把Hiveserver2进程的所有线程的callstack打印出来提供你分析，那么如何分析jstack日志呢？ 1,一般情况下如果callstack发现有org.apache.thrift.server.TServlet.doPost function,那么就可...
hive-jdbc获取查询日志慢的问题发现与解决
weixin_30663471的博客
04-13 1059
1、问题描述： 公司的数据平台的HiveJdbc查询一直有一个问题，就是日志获取太慢了，有时候差不多和结果一起出来的，这就非常影响用户的体验，半天都没任何输出。另一个是Beeline客户端不一致，beeline客户端每次都能很快的获取日志。 这里首先我们普及一个经验就是第一批日志获取的快慢，非常影响用户体验。如果第一批日志来的快，用户可以确认任务已经开始跑了，MR的JobId也会返回。日志的示例如...
hive read time out
lp895876294的博客
03-23 2296
2) hiveConnection的socket超时时间通过loginTimeout进行设置，而loginTimeout读取的DriverManager的超时时间，因此，在创建hive连接时需要设置DriverManage的loginTimeout属性。总结：hive中执行SQL的耗时较长，需要增大网络读超时时间的值，如果使用Hikari数据库连接池管理hive连接，可以通过配置连接超时时间来改变hive的读超时时间。不能盲目跟随，需要结合各自应用进行配置。hive-jdbc版本：2.3.9。
jdbc连接hive连接不上
yy的博客
06-25 1243
原因 1 hiveserver2没起来. 用 netstat -anp|grep 10000 看是不是有进程,没有的话就是没起来 2 看是不是hive metastore没起来,是cdh集群的话直接去cdh管理界面 点击hive进去看hive metastore是否健康. 最后 直接在cdh界面重启整个hive解决问题. 如果需要命令行启动hiveserver2: nohup hive --service hiveserver2 & ...
hive连jdbc报错，连接不上
Aying_seeyou的博客
07-11 1276
1、在当前服务器启动hiveserver2服务，远程客户端通过beeline连接 解决办法： 1）修改core-site.xml文件，加入如下选项： <!--配置成*的意义，表示任意节点使用 hadoop 集群的代理用户 root 都能访问 hdfs 集群--> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </prop
解决使用HiveServer2出现的各种连接问题
weixin_44455388的博客
10-15 5529
这几天自己部署一个测试的Hadoop集群，要测试一些hive数据获取的接口功能。Hive部署好后，使用HiveServer2连接总是出现一些模型奇妙的问题： 问题1：Connection refused 问题2：Connection reset 问题3：一个客户端使用jdbc:hive2连接后，其他客户端就连接不上 解决方法： 1、确保hive-site.xml配置的没有问题，我一开始就是没有配置hiveserver2用户名和密码，一直是使用的服务器的用户名和密码登录的。 <configuration
jdbcTemplate.queryForObject无法返回数据，页面卡住
qq_29439685的博客
11-23 2874
今天碰到一个超级奇怪的问题，就是点击我之前的查询页面，结果页面停在了请稍后的死循环中，无法进行下一步操作。 于是我设了断点，走到我的jdbcTemplate.queryForObject这个方法时，无法return，导致我下一步无法进行，所以我以为是queryForList 使用错误，找了一大堆范例进行尝试，都以失败告终。   于是我开始从sql语句下手，反复在SQL Workbench执行
JDBC读取大量数据时卡死的解决方法
Conmi的博客
08-02 5265
测试JDK：1.8 测试系统：WIN10 先排除一些情况: 1、打开任务管理器，查看内存是否占满，然后进入资源管理器，查看CPU、硬盘、网络是否占满 2、如果你链接的是远程的服务器，请查看远程服务器的以上四种是否占满 (当年我也吃过这两亏) 3、排除以上两点，说明确实是数据量过大造成的，把代码添加以下的内容即可 connection.setAutoCommit(fals...
hive驱动压缩包.zip
06-16
在虚拟机Linux系统上面安装部署hive后，如果需要在Windows系统上的IntelliJ IDEA 2020.3.3中连接使用Linux系统上的hive需要用到的驱动程序。包含：hive-exec-2.3.9.jar 、hive-jdbc-2.3.9.jar、hive-service-2.3.9....
快速学习-Hive 安装
01-07
第 2 章 Hive 安装 2.1 Hive 安装地址 Hive 官网地址 ...文档查看地址 ...下载地址 ...（1）把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下 （2）解压 apache-hive-1.2.1-bin.tar.gz 到/
hadoop+hive+mapreduce的java例子
12-27
1 [wyp@localhost/home/q/hive-0.11.0]$ bin/hive --service hiveserver -p10002 2 Starting Hive Thrift Server 上面代表你已经成功的在端口为10002（默认的端口是10000）启动了hiveserver服务。这时候，你就可以...
java版飞机大战源码-Rockira.github.io:Rockira.github.io
06-04
计算机操作系统与Linux 计算机网络 7种常见的设计模式和使用场景 Java必会基础与新版本特性 :hot_beverage:深入浅出JVM JVM内存模型 性能调优、线上问题排查 类加载机制详解 垃圾回收机制 垃圾回收器、垃圾回收算法 ...
大数据第五天(操作hive的方式)
weixin_51885039的博客
04-23 816
操作hive的方式
hadoop学习---基于hive的航空公司客户价值的LRFCM模型案例
weixin_46164667的博客
05-01 733
在客户分类中，RFM模型是一个经典的分类模型，模型利用通用交易环节中最核心的三个维度——最近消费(Recency)、消费频率(Frequency)、消费金额(Monetary)细分客户群体，从而分析不同群体的客户价值。在某些商业形态中，客户与企业产生连接的核心指标会因产品特性而改变。如互联网产品中，以上三项指标可以相应地变为下图中的三项：最近一次登录、登录频率、在线时长。
Hive 与 MySQL 的数据库限制对比
最新发布
小湘西的博客
05-01 136
请注意，上述信息提供了一般的指导，实际的限制可能会因版本、配置、硬件资源以及其他因素而有所不同。在部署和优化数据库时，应考虑到特定环境中的实际限制。
Spring MVC入门程序
u010288901的博客
04-30 228
掌握Spring MVC入门程序
在Spring中注入动态代理Bean
xiaoyi52的专栏
04-28 830
下面仿照Mapper的实现原理来自定义注解和代理工厂，实现自定义注入动态代理Bean。Class
linux连接hive数据库
04-26
可以通过以下步骤在Linux上连接Hive数据库： 1. 安装Hadoop和Hive 2. 确保Hadoop和Hive的环境变量已经设置好 3. 使用JDBC连接Hive数据库 具体步骤如下： 1. 安装Hadoop和Hive 首先，需要在Linux上安装Apache Hadoop和Apache Hive。安装过程不在本文讨论范围内，可以在官方网站上查找相应的文档。 2. 确保Hadoop和Hive的环境变量已经设置好 在连接Hive之前，需要确保Hadoop和Hive的环境变量已经设置好。可以通过运行以下命令检查： ``` echo $HADOOP_HOME echo $HIVE_HOME ``` 如果输出了这两个变量的路径，则表示环境变量已经设置好。 3. 使用JDBC连接Hive数据库 使用JDBC连接Hive数据库需要以下几个步骤： 1. 下载JDBC驱动程序 在Hive安装包中，可以找到JDBC驱动程序的jar文件。将其复制到本地。 2. 创建一个Java项目 在Eclipse或IntelliJ IDEA等集成开发环境中，创建一个Java项目。 3. 导入JDBC驱动程序 将JDBC驱动程序的jar文件导入到Java项目中。 4. 编写Java代码 在Java项目中，编写以下代码： ``` import java.sql.*; public class HiveConnectionTest { private static String driverName = "org.apache.hive.jdbc.HiveDriver"; public static void main(String[] args) throws SQLException, ClassNotFoundException { Class.forName(driverName); Connection connection = DriverManager.getConnection("jdbc:hive2://localhost:10000/default", "", ""); Statement statement = connection.createStatement(); ResultSet resultSet = statement.executeQuery("SELECT * FROM my_table"); while (resultSet.next()) { System.out.println(resultSet.getString(1)); } resultSet.close(); statement.close(); connection.close(); } } ``` 在上述代码中，需要将“localhost”替换为Hive服务器的IP地址或主机名。需要设置正确的端口号（通常为10000）。同时，需要替换“my_table”为实际的表名。 5. 运行Java程序 运行Java程序，即可连接到Hive数据库。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值