hive删除表后重新创建时提示表已存在并且卡死

最新推荐文章于 2023-05-02 13:16:58 发布

硅谷工具人

最新推荐文章于 2023-05-02 13:16:58 发布

阅读量1k

点赞数

文章标签： hive hadoop 大数据数据仓库分布式

本文链接：https://blog.csdn.net/wang6733284/article/details/126763410

版权

在Hive中使用Iceberg表时遇到并发控制问题，表现为SQL执行错误，错误信息提示表已存在。这通常是因为在不正常退出时，未清除hive_locks表中的锁记录。解决方法是手动检查并删除hive_locks表中对应表的锁记录，以消除并发操作导致的冲突。

摘要由CSDN通过智能技术生成

SQL 错误 [1] [08S01]: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.iceberg.exceptions.AlreadyExistsException: Table was created concurrently: iceberg_dw.dw_xxxxxxxx

iceberg表在写入时，会在hive的元数据表hive_locks中增加一行该表的锁记录，当不正常退出时，就会导致删除或者创建就表时出现此问题。
手工去hive_locks 表删除该表对应的记录即可。

delete from HIVE_LOCKS where hl_db = 'iceberg_dw' and hl_table = 'dw_xxxxxxxx';

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

硅谷工具人

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

记一次Hive库里手动删除表，但是HDFS上还存在表文件奇怪问题

心向，往之

11-05

1万+

正常在hive库即hive命令行中删除一张表，hdfs上也是同步的被删除的，但是这次发现在hive里手动建了一张表，然后使用drop table 表名后，hive库里的确没发现这张表了，但是HDFS上还是有。我使用的建表建库语句： create database test1 location 'hdfs://beh/user/test1/test1.db'; //创建库指定路径 use ...

为什么在hive里drop掉表信息后，再创建相同的表，还能再查出原来那张表的数据

Yao1100000的博客

07-27

1847

因为这里你建立的是一个外部表，所以表数据不被hive所有。而且当你创建这个表的时候，表的元数据结构信息，就被保存到了MySQL备份了，所以当你在hive里drop表的时候就只是drop掉了，表的结构信息，但是这个元数据信息还备份在MySQL里的。MySQL指向的是Hadoop的文件系统，并没有收到丝毫影响。所以当你再去hive里创建这个表的时候，映射到MySQL，发现已经有这个元数据了，而且指向的hdfs上还有数据，所以能直接查出来。 ...

参与评论您还未登录，请先登录后发表或查看评论

8 ，hive 集成 hbase ( hbase 表已经存在，我们用 hive 创建表去关联它 )

孙砚秋的博客

07-24

497

一，集成 1 ，作用：分析 hbase 只能做存储，不能做分析。 hbase 要想分析数据，必须集成第三方框架。分析框架： mr ，hive ，spark 要想分析 hbase 中的数据，必须用到第三方框架。 2 ，集成：将 hbase 的 jar 包给 hive ( 用软链接的形式 ) ln -s $HBASE_HOME/lib/hbase-common-1.2.0-cdh5...

想写个博客：为什么删除存储在Hadoop上的hive数据后，MySQL里存储的元数据信息仍然存在，hive的shell窗口里查看也仍然存在

Yao1100000的博客

07-26

1107

为什么删除存储在Hadoop上的hive数据后，MySQL里存储的元数据信息仍然存在，hive的shell窗口里查看也仍然存在答：根本删除不掉，这个表的结构信息仍然存在。当你在启动hive后的shell窗口里再次插入数据的时候，再去浏览器查看hdfs文件系统，你就会发现，你又可以看到原先好像删除的表信息了。多试几遍，用Hadoop命令直接删除文件系统上的hive仓库里的表信息，你就会发现：确确实实，你把hdfs文件系统上的hive仓库里的这个表删除了，但是，mysql里的元数据信息你没有删，所以，当

[sqoop篇]将MySQL库表中的数据导入到hive中报错hive.表名 already exists

alone554的博客

09-02

1316

一、执行语句二、报错内容三、报错原因 hive.defaults. ods_test_stu表已经存在，所以我不能继续在hive中创建ods_test_stu表四、解决方案方法1.修改导入进hive中的表名，既将执行语句中的参数--hive-table ods_test_stu中的ods_test_stu改了(例如此处我将表名改为ods-test_student) 方法2.删除之前主节点导入hive中的表,也就是hive里的ods_test_stu表

hive 删除数据库报库内已存在表问题

zidieyaonv的博客

08-17

356

hive 删除数据库报表内已存在表问题，意思让先删除库中表，再删除数据库。经查询可以强制删除，在后面增加cascade; //强制删除数据库 drop database db cascade;

hive根据已有表创建新表_hive中表的创建和对表数据的操作

weixin_39664585的博客

12-19

2602

一、hive中表分为两种1、内部表(管理表):删除表的时候删除hdfs上的数据。2、外部表删除表的时候不删除hdfs上的数据。外部表不能使用insert的方式插入数据，所有的数据来源，都是外部别人提供的，所以hive认为自己没有独占这份数据，所以删除hive表的时候，不会删　　　　　除表里面的数据二、对hive表或者表中数据的操作;1、insert into 一般强烈不建议...

hive根据已有表创建新表_Hive基础之创建表

weixin_39746282的博客

12-19

736

1.创建基础表在这个网页里详细记录了创建表的每个语法，下面就一一来看这些创建表的语法内容：CREATE TABLE [IF NOT EXISTS] [db_name.]table_name``[(col_name data_type [COMMENT col_comment], ... [constraint_specification])]``[COMMENT table_comment][R...

hive 如果表不存在则创建_Hive DDL

weixin_39536806的博客

12-20

2040

Hive DDLHive数据库操作基本语法CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][WITH DBPROPERTIES (property_name=property_value, ...)];说明：- IF NOT EXISTS：如果不存...

Hive内部表和外部表

01-07

删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是内部表和外部表都会删除元数据(metastore.TBLS、metastore.COLUMNS_V2) 二：location关键字用于指定hdfs路径，如果不...

hive根据已有表创建新表_Hive中新建表

weixin_39598941的博客

12-29

1149

最基本的建表语句：create table student(id string comment '学号',name string comment '姓名',sex string comment '性别',age string comment '年龄') comment '学生表';show create table student;CREATE TABLE `student`(`id` strin...

hive执行drop表之后没有彻底删除

syd19950119的博客

02-21

1148

我执行drop表之后，客户端查看表已删除，但是我插入新的数据还是之前的旧数据纠结了一会，开始没发现是之前表的数据，一直以为是给我的文件里有隐藏字段，让其他同事也试了几遍之后还是一样的效果，有一个同事换了个库成功了我就上hdfs上看了一下，我删了表之后表文件还在，猜到问题可能出现在hive和hdfs的权限上突然想到之前恢复集群数据切换过hdfs用户，可能是那会切换了之后直接登录的hive，建表之后现在的用户没有权限删除在切换用户登录hive之后成功删除成功问题就在于你目前登录的用户不一定有最大的权限

org.apache.hadoop.hive.ql.exec.DDLTask. AlreadyExistsException(message:Table stuinfos already exists

最新发布

weixin_51912767的博客

05-02

1607

报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. AlreadyExistsException(message:Table stuinfos already exists)表明这个表已经创建，我尝试删除hdfs系统下的/user/hive/warehouse/stuinfos ,使用目录dfs -rm -r -f stuinfos 后仍然不行，最后发现。在hive命令行输入。

hive的beline频繁建表删表之后，再创建相同表名的表报错

m0_46142780的博客

02-19

332

hive的beeline频繁建表删表之后，再创建相同表名的表报错，unable to move source hdfs…

HBase 创建表已经存在，删除表又不存在的问题的两种解决方法(转载)

zfd的博客

10-14

441

https://blog.csdn.net/liuzhuang2017/article/details/81980285 https://blog.csdn.net/dudefu011/article/details/79767255

【Hive笔记】4.2——数据表的创建和增删改

菜鸟sdut的博客

08-13

389

简介 hive对于数据表的创建语句是很复杂的。创建表建表语句 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [...

一台服务器同时起多个hive跑local mr很大机率会报 FileAlreadyExistsException

_Ryoma的博客

09-13

669

原因：当你起一个hive，跑local mode时（数据量不多）,hive调起的任务处理过程不是分布式的MR，而是本地MR，而本地MR就需要一个文件去放数据啊，而本地文件系统只有一个命令空间，那冲突就随时会发生了。解决： set hive.exec.mode.local.auto=false; 参考

windows下spark访问本地hive，建表后加载数据显示拒绝访问

jmzhhh的博客

03-07

304

加载到spark-warehouse的数据拒绝访问，该问题主要是win系统下的文件权限默认是当前用户，并非管理员

HIVE外部表删除重建指定HDFS目录后查询不到数据

数据库

05-22

4266

HIVE外部表删除重建指定HDFS目录后查询不到数据，怎么办删除了外部表，没有删除hdfs文件重建了外部表又关联到之前的hdfs目录之后，select查询却没有数据需要MSCK REPAIR TABLE+tablename，之后查询，数据就回来了。 MSCK REPAIR TABLE命令是做啥的 MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 hive有个服务叫metastore，