【硬刚Hive】Hive中的锁的用法场景

已于 2022-07-15 22:09:57 修改
阅读量578 收藏 1
点赞数 1
分类专栏： Hive系统性学习专栏 文章标签： big data hive
于 2021-09-06 21:01:55 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/120144727
版权
当Hive执行insert任务被手动停止时，可能导致死锁，无法进行其他操作。可通过`show locks [table]`查看死锁，Hive的锁分为Shared和Exclusive，共享锁用于读，互斥锁用于元数据和数据变更。解锁操作需谨慎，表锁和分区锁需分别处理。在遇到LockManager未指定等问题时，可能需要在MySQL元数据直接删除锁。
摘要由CSDN通过智能技术生成

Hive中的锁

在执行insert into或insert overwrite任务时，中途手动将程序停掉，会出现卡死情况（无法提交MapReduce），只能执行查询操作，而drop insert操作均不可操作，无论执行多久，都会保持卡死状态。

查看Hive的中死锁，可以使用show locks [table]来查看。

file

可以看到里面的那个Type下的EXCLUSIVE，这是一种互斥锁，需要解决，否则后续的查询和插入任务都会影响。

hive存在两种锁，共享锁Shared (S)和互斥锁Exclusive (X）

file

锁的基本机制是：

  • 元信息和数据的变更需要互斥锁

  • 数据的读取需要共享锁

触发共享锁的操作是可以并发

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
【硬刚Hive】Hive 中的四种排序详解，再也不会混淆用法了
微信搜：import_bigdata，大数据领域硬核原创作者
09-06 798
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 Hive 中的四种排序 排序操作是一个比较常见的操作，尤其是在数据分析的时候，我们往往需要对数据进行排序，hive 中和排序相关的有四个关键字，今天我们就看一下，它们都是什.
hive插入目标表之后无法查到数据_Hive中的锁的用法场景
weixin_42203796的博客
01-30 1082
前面遇到过一次因为Hive中表被锁住了，导致定时任务一直失败。这两天又出现了表被锁，原因是连接hiveserver2过于频繁，mysql连接被打满，引发的连锁反应，导致我们的小时任务一直失败，下午重点注意到这个问题，才解决好。Hive中的锁 在执行insert into或insert overwrite任务时，中途手动将程序停掉，会出现卡死情况(无法提交MapReduce)，只能执行查询...
hive查看锁表以及解锁
weixin_42856363的博客
05-09 5920
今天在使用hive的时候发现insert overwrite table tablea,无法向里面插入数据，从而看了一下hive的解锁和查看锁表情况 首先先看锁表情况 show locks tablea; 结果： tab_name mode tablea SHARED 得知tablea表已经锁住 通过 unlock table tablea 进行解锁 ...
Hive数据锁问题处理
最新发布
SuperBoy_Liang的博客
06-20 430
hive排查、处理锁问题
hive 表锁、分区锁
沐霜枫叶
12-31 1888
场景： 在执行insert into或insert overwrite任务时，觉得hive速度有点慢，中途手动将程序停掉，改成了spark的引擎继续跑数，然后出现卡死情况（无法提交MapReduce），只能执行查询操作，而drop insert操作均执行不成功，无论执行多久，都会保持卡死状态。 原因： hive表被锁或者某个分区被锁，需要解锁。hive存在两种锁，共享锁Shared (S)和互斥锁Exclusive (X）。 其中只触发s锁的操作可以并发的执行，只要有一个操作对表或者分区出发了x锁，则该表或
Hive 常用命令 | 表操作 | 分区操作 | 数据导入 | 权限处理 | 查看锁 | 解锁 | 多字符分隔符建表
qq_38151907的博客
07-11 6336
Hive 常用命令 | 表操作 | 分区操作 | 数据导入 | 权限处理 | 查看锁 | 解锁 | 多字符分隔符建表
hive不能用in或者 not in 子查询时怎么办
weixin_43792309的博客
06-08 3378
1111111111111111111111
hive锁
wer0735的博客
10-25 4988
hive lock报错 FAILED: Error in acquiring locks: Locks on the underlying objects cannot be acquired. retry after some time 解决办法：关闭并发，set hive.support.concurrency=false; hive锁介绍： hive存在两种锁，共享锁Shar
Hive锁
wang_ying_198的专栏
04-20 5861
Hive结合Zookeeper支持锁功能 Hive中包含了一个使用Zookeeper进行锁定的锁功能。Zookeeper实现了高度可靠的分布式协调服务。处理需要增加一些额外的设置和配置步骤。Zookeeper对于Hive用户来说是透明的。 安装Zookeeper参见Zookeeper文档 现在我们来配置Hive，让其可以使用这些Zookeeper节点来启用并发支持： 需要再
【硬刚Hive】Hive窗口函数row number的用法
微信搜：import_bigdata，大数据领域硬核原创作者
09-06 1455
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 row_number 前面我们介绍窗口函数的时候说到了窗口函数的使用场景，我们也给它起了一个名字进行区分，通用窗口函数和特殊窗口函数，今天我们就来看一下排序相关的窗口函数..
在python中使用pyspark读写Hive数据操作
09-16
在Python中使用pyspark与Hive交互是大数据处理中常见的任务，这允许开发者利用Hive的存储和查询能力，并结合Python的灵活性和易用性。以下是对标题和描述中涉及知识点的详细说明： 1. **pyspark**: pyspark是Apache...
【硬刚Hive】Hive基于UDF进行文本分词
微信搜：import_bigdata，大数据领域硬核原创作者
09-06 567
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 本文大纲 UDF 简介 Hive作为一个sql查询引擎，自带了一些基本的函数，比如count(计数)，sum(求和)，有时候这些基本函数满足不了我们的需求，这时..
Hive 1.1.0分区表新增字段后，数据为空的解决办法
风在身后的专栏
05-05 2144
如果使用alter table add column语句对分区表增加字段时没有使用cascade关键字，会导致Hive只维护了表的元数据，而没有分区的元数据。 现象就是，重新insert overwrite了历史有数据的分区，但是select 新增字段仍然没有数据。 起初，我以为是BUG，但是查看了官方文档发现并不是BUG。 官方文档描述如下： The CASCADE|RESTRICT c...
truncate的锁机制
zouwei1989的专栏
05-19 1626
[color=blue]如果你在一束表上运行许多操作，锁定你将要使用的表，这会更快一些。当然有不利的方面，其它线程将不能更新一个 READ 锁的表，并且没有其它线程要以读取一个 WRITE 锁的表。 在 LOCK TABLES 下，某些事运行得更快一些的原因是，MySQL 将不会转储清除被锁定表键高速缓冲，直到 UNLOCK TABLES 被调用 (通常键高速缓冲在每个 SQL 语句后都会被转储清...
oracle 视图创建索引_Hive表分区与索引
weixin_39622150的博客
11-19 257
hive表分区表分区是指将数据按照物理分层的方式进行区分开，加快查询的速度，同时也起到数据快照的作用！创建分区表的关键字：partitioned by ，可以指定单个字段也可以指定多个字段； partitioned by (dt String,country string); create table pt_test(ts bigint,line string) partitioned by ...
【Hive】msck repair-解决动态分区查询不到数据
Sunny的专栏
03-01 3121
0、背景 在Hive的表建立了动态分区，手动复制文件或者Spark写数据到分区中，而且设置了参数但是还查询不到该分区数据。这时你应该需要执行MSCK REPAIR TABLE命令来刷新Hive的metastore数据 一、作用 MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等
hive表数据文件存在子目录的情况，查询不到数据
hzp666的博客
02-22 1613
解决方案： 1.对于分区表，数据文件上层目录非分区目录，增加参数：spark.sql.sources.readPartitionWithSubdirectory.enabled=true 2.对于非分区表，数据文件上层目录非表目录，增加参数：spark.sql.nonPartitionedTable.subdirectory.read.enabled=true ...
关于hive3多表leftjoin导致数据丢失问题及解决方案
weixin_44203240的博客
11-29 3358
关于hive3多表leftjoin导致数据丢失问题及解决方案
Hive常用函数分类及应用场景总结
首先，在Hive命令行接口中，可以通过"SHOW FUNCTIONS"命令查看当前会话可用的函数数量，通过"DESC FUNCTION"命令可以查看函数的描述信息，以及使用"DESC FUNCTION EXTENDED"命令可以查看函数的扩展描述信息。Hive中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值