Hive drop 失败 日志显示无限执行transport.TSaslTransport: writing data length: 144 和 reading data length: 104

已于 2022-04-28 01:27:43 修改
阅读量1.6k 收藏
点赞数
分类专栏： Hive 文章标签： hive
于 2022-04-27 04:35:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Adam_captain/article/details/124441526
版权

今天在学习Hive事务表的时候，在执行一个update操作的时候，可能是由于内存不足而导致HS2崩溃，然后重新执行update操作后发现，本来是一个半分钟以内就能够执行完的MR程序，结果运行了六七分钟还没执行完毕。然后查看日志发现以下现象

可以发现HS2的Handler一直在进行奇怪的重复读写操作，而且发现Yarn上也没有正在运行的MR作业，但是发现日志还在不断地输出，甚至发现在进行drop这张事务表的操作也出现了同样的情况。最后是重新建了一张事务表，重新update或者是drop才发现成功了。

估计是之前正在运行update的时候HS2崩溃了，有一些临时文件之类的没有被删除，而导致出现死循环一样的操作。

第二天终于发现问题在HIVE_LOCKS这张表上，由于上述session中断后，锁没有被释放，导致drop操作无法结束，最后将MySQL的HIVE_LOCKS表下的锁数据删除就恢复正常了

AdamShyly
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
java连接hive出现连不上的问题
wuzhilon88的专栏
01-08 6183
1、hive首先要起动远程服务接口，命令： nohup hive --service hiveserver  &    证明是成功了，如果你还没有成功，就重新启动下你的hadoop集群后在执行上面的命令，应该就没有问题。 2、就是加载你的hive lib中的jar到你的项目中。
java通过jdbc连接hive
cbb
02-10 2899
版本说明 hadoop 3.2.2 hive 版本 3.1.2 安装好hive 之后，hive默认的用户名和密码都是空的，所以需要我们设置用户名和密码。 参考网上的，按照自定义的方式设置hive 的用户名和密码。 1.首先要打一个jar 包，我这里已经打好了，需要可以去下载。 2.也可以自己通过代码编译自行打包； package com.quant.flowcalculation.flinkapi.etl.hive; import java.sql.Connection; import java.sql.
Thrift 中的 Transport
啦啦啦啦 la
03-27 989
Thrift 中有 TTransport 和 TServerTransport，封装了底层传输层的数据读写；分别用于客户端和服务端 TTransport 方法 open 用于建立与 Server 端的连接 public abstract void open() throws TTransportException; close 关闭连接 public abstract void close(); read 用于读取数据 public abstract int read(byte[] buf
Hive之API封装及操作
lukabruce的博客
11-05 1243
首先看依赖 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xs...
python连接hive时报sasl相关报错问题
水巷石子的博客
04-04 993
解决python连接hive时，报sasl错误问题
java.net.SocketException: Connection reset 解决方法
09-05
Java中的`java.net.SocketException: Connection reset`是一个常见的网络编程错误，通常表示在TCP/IP通信过程中，连接突然中断。...优化网络请求的频率和方式，可以有效避免这类异常的发生，提高程序的稳定性和效率。
Could not resolve dependencies for project org.apache.hive:hive-exec:jar:2.3.0:
09-10
hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失
Hive Beeline连接报错：Could not open client transport with JDBC Uri: jdbc:hive2://hcmaster:10000/default
01-20
在使用Hive的Beeline客户端进行连接时，可能会遇到错误提示"Could not open client transport with JDBC Uri: jdbc:hive2://hcmaster:10000/default"。这个错误通常意味着Beeline无法通过JDBC URL成功建立到Hive ...
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
01-07
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
解决Hive启动失败Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
01-09
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 通过控制台的...
hiveServer2logparser:HS2 日志的 Perl 解析器
05-30
HiveServer2日志摘要器 用法 #download latest script wget https://raw.githubusercontent.com/abajwa-hw/hiveServer2logparser/master/hiveServer2logparser.pl #run script perl hiveServer2logparser.pl <path> 输出 其中包含为便于在Excel中过滤而运行的查询摘要
四、openldap整合hive
dockj的博客
12-01 2246
一、配置整合hive用户 适合cdh5.7.6+的版本的hive，cdh5.5.0版本的hive会出现如下问题： 2018-08-23 13:59:48,304 ERROR [HiveServer2-Handler-Pool: Thread-29]: transport.TSaslTransport (TSaslTransport.java:open(315)) - SASL negotiati...
java数据流编辑 kylo,kylo问题总结1
weixin_28909503的博客
03-22 611
kylo问题总结1Spark configurationcp /etc/hive/conf/hive-site.xml /etc/spark/conf/hive-site.xml# Snappy isn't working well for Spark on Clouderaecho "spark.io.compression.codec=lz4" >> /etc/spark/conf...
通过 GC工具分析 HiveServer2停顿时间过长问题
Daphnis的博客
04-01 3141
1.现象 线上环境 HiveServer2报：在前 5分钟内暂停所花的平均时间过长 hs2角色日志如下： 2.分析 看到上面的报错和日志，第一个直觉就是 hs2 GC出问题了，于是使用 jstat命令进行分析： jstat -gcutil 82775 5000 5 这里先简单介绍一下 jstat这条命令： ​ -gcutil，打印 gc统计信息 ​ 82775，java进程ID ​ 5000，5000ms ​ 5，5次 所以这条命令的含义为：每间隔 5000ms打印一次 进程 82775的 gc
Hadoop整合Hive之API封装及操作
至道
05-27 6227
首先看依赖<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven
Hive 和 presto 在使用连接池时遇到org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutExcept
热门推荐
u011602667的专栏
07-13 1万+
最近在开发多数据源的通用取数接口时，采用连接池的方式分别初始化hive 和 presto的5个连接，在调用hive的过程中遇到了DEBUG 07-13 11:09:48(TSaslTransport.java:459): CLIENT: reading data length: 109ERROR 07-13 11:09:49(DaoHelper.java:75): getmaps error sq...
Hive 系列（八）—— Hive 数据查询详解
weixin_30362083的博客
08-23 1203
一、数据准备 为了演示查询操作，这里需要预先创建三张表，并加载测试数据。 数据文件 emp.txt 和 dept.txt 可以从本仓库的resources 目录下载。 1.1 员工表 -- 建表语句 CREATE TABLE emp( empno INT, -- 员工表编号 ename STRING, -- 员工姓名 job STRING,...
hive开启ranger鉴权后set报错的解决方案（阿里云）
HRay's blog
05-19 2545
阿里云emr集群hive开启ranger后执行set时报错“java.lang.IllegalArgumentException: Cannot modify mapred.job.queue.name at runtime. It is not in list of params that are allowed to be modified at runtime” 网上搜这个报错搜到华为云的一篇文章 https://support.huaweicloud.com/trouble-mrs/mrs_03
hive | o.a.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out
最新发布
05-01
Hive将查询转换为MapReduce任务，并在Hadoop集群上执行这些任务。 关于你提到的异常信息"o.a.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out"，这是Hive在与Thrift服务器...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值