hive 死锁问题解决

1，执行插入dwd_log_full_di表调度是，查看调度任务发生的运行状态，发现dwd_log_full_di表运行失败，导致后续所有依赖该任务暂停。

2.查看具体dwd_log_full_di任务的日志，发现该表被锁了，导致数据无法alter table 、rename、insert等操作

 

3.   进行任务重跑，所有发生锁表的任务任务都处于等待状态

3.1：为了不影响重要指标产出先将order_info的依赖任务取消，采用优先将后续任务dwd_log_full_di任务跑完， 部分重要指标依赖该表，在运行过程中发现该表也发生了锁表无法进行写入操作。

解决方案：

3.2：先在hive里查询发生锁表的任务

show locks;

 

备注：可以看到里面的那个Blocked By下的EXCLUSIVE

这里简单说一下：hive存在两种锁，共享锁Shared (S)和互斥锁Exclusive (X）
触发共享锁的操作是可以并发执行的
但是触发互斥锁，那么该表和该分区就不能并发的执行作业了

 

3.3：于是开始尝试解锁：

 

unlock table cdm_dwd.dwd_log_full_di;

但是报错了： 

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
Current transaction manager does not support explicit lock requests. Transaction manager:
org.apache.hadoop.hive.ql.lockmgr.DbTxnManager

但是再次使用 show locks;发现之前的锁没了，但还无法执行alter table 、rename、insert等操作语句。

 

4 ：到mysql进行操作，hive的元数据管理是在mysql中，直接去mysql元数据执行： 

在[root@data06 admin]# mysql -u root -p123

 

select * from HIVE_LOCKS;

查到所有的锁，然后选择删除数据

DELETE FROM hive_locks where HL_TABLE = 'cdm_dwd.dwd_log_full_di';

 

3.5：在重新到调度任务上重新跑任务，任务运行成功。