hive中drop table tab_name卡死

最新推荐文章于 2023-09-05 19:42:13 发布
最新推荐文章于 2023-09-05 19:42:13 发布
阅读量990 收藏 2
点赞数 1
文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IT_tyro/article/details/109764992
版权

最近在hive学习时遇到drop table时卡死，删除失败的情况。
先看一下表的情况：

0: jdbc:hive2://hadoop102:10000> desc dy_name_table
. . . . . . . . . . . . . . . .> ;
+--------------------------+-----------------------+-----------------------+
|         col_name         |       data_type       |        comment        |
+--------------------------+-----------------------+-----------------------+
| sno                      | int                   |                       |
| sex                      | string                |                       |
|                          | NULL                  | NULL                  |
| # Partition Information  | NULL                  | NULL                  |
| # col_name               | data_type             | comment               |
|                          | NULL                  | NULL                  |
| sex                      | string                |                       |
+--------------------------+-----------------------+-----------------------+

dy_name_table表的分区情况
0: jdbc:hive2://hadoop102:10000> show partitions dy_name_table;
+---------------------------------+
|            partition            |
+---------------------------------+
| sex=?                           |
| sex=__HIVE_DEFAULT_PARTITION__  |
+---------------------------------+

hdfs上的分区信息如下：
在这里插入图片描述
可以看出分区字段值是中文，大体判断这就是导致删不掉的原因。
解决方法：
删掉分区字段就行。删掉分区就行。

这时候如果用hive的语句的话会报错。
0: jdbc:hive2://hadoop102:10000> alter table dy_name_table drop partition=(sex='男');
Error: Error while compiling statement: FAILED: ParseException line 1:40 extraneous input '=' expecting ( near '<EOF>' (state=42000,code=40000)

所以我们要去mysql中删掉对应的元数据信息。因为hive的元数据都存在mysql里。在mysql里选择hive数据库。

mysql> select * from TBLS;
+--------+-------------+-------+------------------+-------+-----------+-------+---------------+---------------+--------------------+--------------------+--------------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER | RETENTION | SD_ID | TBL_NAME      | TBL_TYPE      | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT | IS_REWRITE_ENABLED |
+--------+-------------+-------+------------------+-------+-----------+-------+---------------+---------------+--------------------+--------------------+--------------------+
|      1 |  1605202643 |     2 |                0 | root  |         0 |     1 | student       | MANAGED_TABLE | NULL               | NULL               |                    |
|      6 |  1605208007 |     2 |                0 | root  |         0 |     6 | friend        | MANAGED_TABLE | NULL               | NULL               |                    |
|     11 |  1605604870 |     1 |                0 | root  |         0 |    11 | test          | MANAGED_TABLE | NULL               | NULL               |                    |
|     12 |  1605606030 |     1 |                0 | root  |         0 |    12 | ip_table      | MANAGED_TABLE | NULL               | NULL               |                    |
|     13 |  1605606059 |     1 |                0 | root  |         0 |    13 | day_table     | MANAGED_TABLE | NULL               | NULL               |                    |
|     16 |  1605613385 |     1 |                0 | root  |         0 |    16 | student       | MANAGED_TABLE | NULL               | NULL               |                    |
|     17 |  1605626713 |     1 |                0 | root  |         0 |    17 | dy_name_table | MANAGED_TABLE | NULL               | NULL               |                    |
|     23 |  1605637503 |     1 |                0 | root  |         0 |    23 | part_stu      | MANAGED_TABLE | NULL               | NULL               |                    |
|     26 |  1605650736 |     1 |                0 | root  |         0 |    26 | f_name        | MANAGED_TABLE | NULL               | NULL               |                    |
|     32 |  1605663970 |     1 |                0 | root  |         0 |    32 | stu_part      | MANAGED_TABLE | NULL               | NULL               |                    |
+--------+-------------+-------+------------------+-------+-----------+-------+---------------+---------------+--------------------+--------------------+--------------------+

TBLS表里是所有HIVE表的信息，找到目标表的TBL_ID.

mysql> select * from PARTITIONS;
+---------+-------------+------------------+--------------------------------+-------+--------+
| PART_ID | CREATE_TIME | LAST_ACCESS_TIME | PART_NAME                      | SD_ID | TBL_ID |
+---------+-------------+------------------+--------------------------------+-------+--------+
|       1 |  1605627480 |                0 | sex=?                          |    18 |     17 |
|       2 |  1605627480 |                0 | sex=__HIVE_DEFAULT_PARTITION__ |    19 |     17 |
+---------+-------------+------------------+--------------------------------+-------+--------+
##可以看到PART_ID=1的分区sex=?是有问题的。
mysql> delete from PARTITIONS WHERE TBL_ID=17 AND PART_ID=1;
ERROR 1451 (23000): Cannot delete or update a parent row: a foreign key constraint fails (`hive`.`PARTITION_KEY_VALS`, CONSTRAINT `PARTITION_KEY_VALS_FK1` FOREIGN KEY (`PART_ID`) REFERENCES `PARTITIONS` (`PART_ID`))

##删除失败是有外键约束，从报错信息可以看出级联表是PARTITION_KEY_VALS，所以我们要去PARTITION_KEY_VALS中删除数据
##查看PARTITION_KEY_VALS的数据。
mysql> select * from PARTITION_KEY_VALS;
+---------+----------------------------+-------------+
| PART_ID | PART_KEY_VAL               | INTEGER_IDX |
+---------+----------------------------+-------------+
|       1 | ?                          |           0 |
|       2 | __HIVE_DEFAULT_PARTITION__ |           0 |
+---------+----------------------------+-------------+
2 rows in set (0.00 sec)
###删除PART_ID=1的数据
mysql> delete from PARTITION_KEY_VALS where PART_ID=1;
Query OK, 1 row affected (0.00 sec)

###再次删除PARTITIONS表中的数据
mysql> delete from PARTITIONS WHERE TBL_ID=17 AND PART_ID=1;
ERROR 1451 (23000): Cannot delete or update a parent row: a foreign key constraint fails (`hive`.`PARTITION_PARAMS`, CONSTRAINT `PARTITION_PARAMS_FK1` FOREIGN KEY (`PART_ID`) REFERENCES `PARTITIONS` (`PART_ID`))

###删除失败是有外键约束，从报错信息可以看出级联表是PARTITION_PARAMS，所以我们要去PARTITION_PARAMS中删除数据
###查看PARTITION_PARAMS的数据
mysql> select * from PARTITION_PARAMS;
+---------+-----------------------+------------------------+
| PART_ID | PARAM_KEY             | PARAM_VALUE            |
+---------+-----------------------+------------------------+
|       1 | COLUMN_STATS_ACCURATE | {"BASIC_STATS":"true"} |
|       1 | numFiles              | 1                      |
|       1 | numRows               | 0                      |
|       1 | rawDataSize           | 0                      |
|       1 | totalSize             | 4                      |
|       1 | transient_lastDdlTime | 1605627480             |
|       2 | COLUMN_STATS_ACCURATE | {"BASIC_STATS":"true"} |
|       2 | numFiles              | 1                      |
|       2 | numRows               | 0                      |
|       2 | rawDataSize           | 0                      |
|       2 | totalSize             | 3                      |
|       2 | transient_lastDdlTime | 1605627480             |
+---------+-----------------------+------------------------+
###删除PART_ID=1的数据
mysql> delete from PARTITION_PARAMS where PART_ID=1;
Query OK, 6 rows affected (0.01 sec)
###再次删除PARTITIONS表中的数据
mysql> delete from PARTITIONS WHERE TBL_ID=17 AND PART_ID=1;
Query OK, 1 row affected (0.09 sec)

去hivel里删除表

查看表的信息
0: jdbc:hive2://hadoop102:10000> desc dy_name_table;
+--------------------------+-----------------------+-----------------------+
|         col_name         |       data_type       |        comment        |
+--------------------------+-----------------------+-----------------------+
| sno                      | int                   |                       |
| sex                      | string                |                       |
|                          | NULL                  | NULL                  |
| # Partition Information  | NULL                  | NULL                  |
| # col_name               | data_type             | comment               |
|                          | NULL                  | NULL                  |
| sex                      | string                |                       |
+--------------------------+-----------------------+-----------------------+
7 rows selected (0.35 seconds)
###删除表
0: jdbc:hive2://hadoop102:10000> drop table dy_name_table;
No rows affected (3.662 seconds)
###查看结果
0: jdbc:hive2://hadoop102:10000> show tables;
+------------+
|  tab_name  |
+------------+
| day_table  |
| f_name     |
| ip_table   |
| part_stu   |
| stu_part   |
| student    |
| test       |
+------------+
###dy_name_table已经不在数据库里了，删除成功。

下面是找出mysql中与一个表外键关联的所有表的方法，不需要等到报错才知道：

mysql> select * from INFORMATION_SCHEMA.KEY_COLUMN_USAGE  where REFERENCED_TABLE_NAME='PARTITIONS';

###+--------------------+-------------------+------------------------+---------------+--------------+--------------------+-------------+------------------+-------------------------------+-------------------------+-----------------------+------------------------+
| CONSTRAINT_CATALOG | CONSTRAINT_SCHEMA | CONSTRAINT_NAME        | TABLE_CATALOG | TABLE_SCHEMA | TABLE_NAME         | COLUMN_NAME | ORDINAL_POSITION | POSITION_IN_UNIQUE_CONSTRAINT | REFERENCED_TABLE_SCHEMA | REFERENCED_TABLE_NAME | REFERENCED_COLUMN_NAME |
+--------------------+-------------------+------------------------+---------------+--------------+--------------------+-------------+------------------+-------------------------------+-------------------------+-----------------------+------------------------+
| NULL               | hive              | PARTITION_KEY_VALS_FK1 | NULL          | hive         | PARTITION_KEY_VALS | PART_ID     |                1 |                             1 | hive                    | PARTITIONS            | PART_ID                |
| NULL               | hive              | PARTITION_PARAMS_FK1   | NULL          | hive         | PARTITION_PARAMS   | PART_ID     |                1 |                             1 | hive                    | PARTITIONS            | PART_ID                |
| NULL               | hive              | PART_COL_PRIVS_FK1     | NULL          | hive         | PART_COL_PRIVS     | PART_ID     |                1 |                             1 | hive                    | PARTITIONS            | PART_ID                |
| NULL               | hive              | PART_COL_STATS_FK      | NULL          | hive         | PART_COL_STATS     | PART_ID     |                1 |                             1 | hive                    | PARTITIONS            | PART_ID                |
| NULL               | hive              | PART_PRIVS_FK1         | NULL          | hive         | PART_PRIVS         | PART_ID     |                1 |                             1 | hive                    | PARTITIONS            | PART_ID                |
+--------------------+-------------------+------------------------+---------------+--------------+--------------------+-------------+------------------+--------

参考：https://blog.csdn.net/qq1226317595/article/details/84306519

辣条涨价了
关注
Hive drop table table_name一直卡死状态
BD_ZZQ的博客
11-18 1万+
用drop删除表的时候，一直处于卡死状态，也不报错，如下图所示 后来发现是Hive元数据存储编码问题，编码不能为utf8,所以我进入数据库看了一下MySQL的编码，如下图 所以要将编码改回来，方法：在MySQL配置文件中修改，并删除原有的数据库，新建一个一样的数据库
Hive分区表伪字段分区时出现中文导致表删除(drop table)时hive卡死解决办法
qq_52241909的博客
06-25 1138
hive分区时分区字段产生中文导致删除表时卡住解决方法 在使用hive分区功能时生成的分区字段和分区目录取决于该分区字段的数据，由于该字段数据为中文汉字，则导致分区字段和分区目录中出现中文，造成删除该表令hive卡住运行不了后面的操作 WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (
Hive drop table卡住的问题
weixin_30849591的博客
09-24 639
在hive中,show tables,create 等命令能正常执行,删除表drop table x时,会出现卡住的现象. 进入mysql, show variables like 'char%' 可以看到 按理说是正确的. 后面发现,是在建好hive数据库后,没有第一时间将character_set_database编码由utf8修改为latin...
Hive drop table时候卡死-各种情况的解决方案(持续更新中)
微电子学与固体电子学-俞驰
05-27 3615
①jps中kill掉所有RunJar的进程 ②mysql中drop database hive ③hive --service metastore ④重启hive客户端
Hive drop table table_name一直卡死解决办法
zhangjunli的博客
12-10 438
方法一： 替换mysql驱动包 方法二：修改mysql字符集（my.cnf） [client] default-character-set=latin1 [mysql] default-character-set=latin1 [mysqld] default-character-set=latin1 方法三：修改配置文件（hive-site.conf） <property> <name>hive.metastore.schema.verification
记录一次hive drop table卡死的现象
weixin_45657738的博客
05-21 374
mysql元数据库 set 字符 = latin1 问题解决后发现, 就是分区值出现了不该出现的非正规值 首先在TBLS里找到这张表 select TBL_ID from TBLS where TBL_NAME = ${tableName}; select * from PARTITIONS where TBL_ID = ${TBL_ID} part_name 带有括号空格这种字符的都删掉 只保留字母 拿着part_id 去 PARTITION_KEY_VALS表里改成一样的分区值
用hive10、给t1表name字段创建索引：index_name_col,索引表为：index_name_tab。 11、查看索引的详细信息 12、重建索引 13、删除索引
最新发布
10-10
在Hive中，创建名为`index_name_col`的索引并将其保存到`index_name_tab`表中，可以按照以下步骤操作： 1. 创建索引： ```sql CREATE INDEX index_name_col ON table t1 (name); ``` 这里假设`table t1`有一个名为`...
hivesql修改字段类型_Hive 数据类型 + Hive sql
weixin_39708557的博客
12-31 2102
Hive 数据类型 + Hive sql基本类型整型int tinyint (byte) smallint(short) bigint(long)浮点型float double布尔boolean字符string char(定长) varchar(变长)时间类型timestamp date引用/复合类型优点类似于容器(Container),便于我们操作数据复合类型可以和复合类型相互嵌套Arra...
hive的基本操作
w_mchen的博客
12-25 824
创建数据库/表 create database if not exists 库名； create table if not exists 表名； 数据库切换 use 库名； 删除/强制删除 drop database 库名；如果库里面有东西删不掉，需要强制删除 drop database 库名 cascade; drop table 表名 ； drop table 表名 cascade； truncate table 表名; -- 清空表数据 msck repair table tab
Hive 数据定义DDL详解
程序员学习圈
08-25 4852
1.创建数据库 1.1 创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 1.2 避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法） hive> create database db_hive; FAIL...
MySQL删除表的三种方式(小结)
12-14
drop table drop 是直接删除表信息，速度最快，但是无法找回数据 例如删除 user 表： drop table user; truncate (table) truncate 是删除表数据，不删除表的结构，速度排第二，但不能与where一起使用 例如删除 user 表： truncate table user; delete from delete 是删除表中的数据，不删除表结构，速度最慢，但可以与where连用，可以删除指定的行 例如删除user表的所有数据 delete from user; 删除user表的指定记录 delete from user whe
Hive元数据库字符集问题，hive drop table卡死不动问题，comment注解以及字段中文乱码问题：
weixin_43530138的博客
08-07 447
hive的元数据metastore在mysql的数据库,不管是数据库本身,还是里面的表编码都必须是latin1 解决hive drop table卡死不动问题，comment注解以及字段中文乱码问题： 首先修改my.cnf文件 然后重启mysql 重启后删除原元数据库，创建新的元数据库 修改hive-site.xml文件中为： 注意是utf8而不是latin1 重启hive 进入mysql中hi...
Hive:删除表卡死
Joseph25的博客
09-16 1964
在hive删除表的时候卡死删除不了 drop table XXX 有可能是锁机制造成的，查看是否有锁 show locks 发现有的表有锁有的表无锁，但还是删除不了 这里简单说一下：hive存在两种锁，共享锁Shared (S)和互斥锁Exclusive (X） 触发共享锁的操作是可以并发执行的 但是触发互斥锁，那么该表和该分区就不能并发的执行作业了。 如果有锁的先解锁 unlock table XXX 无锁的先把锁机制关闭，因为其他表有锁证明锁机制是开启的 set hive.suppor
【Hive】drop table需注意外部表
littlemichelle
09-05 717
ALTER TABLE tb_nameSET TBLPROPERTIES('EXTERNAL' = 'FALSE');
hive恢复drop table数据
haijiege的专栏
11-02 6674
hive 中使用truncate命令将表截断的话，它是不会进回收站的，是没办法恢复的。这个跟oracle truncate有点类似的。        恢复在hive中通过drop table删除的数据文件就是将hdfs dfs -rm删除掉的文件进行恢复，只需要hdfs dfs -mv将文件从回收站中搬过来就行，我就先使用这个方法，但是效果不佳，执行select count(*) from ta...
Hive：Create/Drop/Truncate Table
qiulinsama的博客
02-15 1440
Create/Drop/Truncate Table Create Table 创建表 Managed and External Tables 管理表和外部表 Storage Formats 存储格式 Row Formats &amp;amp;amp;amp;amp;amp; SerDe 行格式和SerDe(序列化和反序列化) Partitioned Tables 分区表 External Tables Create Table A...
Hive操作——删除表(drop、truncate)
热门推荐
AcceptedLin的博客
05-18 1万+
Hive操作——删除表(drop、truncate) Hive删除操作主要分为几大类：删除数据（保留表）、删除库表、删除分区。我将以下图为例清空iot_devicelocation中的数据，之后再删除表、库等。 首先来看一下iot_deivcelocation中的数据。 select * fromiot_deivcelocation 一、仅删除表中数据，保留表结构 hive> truncate table iot_devicelo...
hive中values__tmp__table__1
08-08
在Hive中，`values__tmp__table__1`通常表示一个临时表，用于存储VALUES子句中的临时数据。这种表通常用于在查询中使用硬编码的常量值，而不是从其他表中检索数据。临时表的命名通常是自动生成的，以确保唯一性。在...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值