Hive TApplicationException Internal error processing get p

               

有时候,某些非常规的操作会导致将要建立数据库/表与保存在metastore里的数据库/表的信息发生冲突,导致无法建立相应的数据库/表。举个例子:如果没有使用常规的drop database/table去删除一个数据库或是表,而是直接在hdfs上删除了相应的文件夹或文件,比如:/user/hive/warehouse/xxxxx.db,然后当你重新试图使用建库脚本建库时,有可能会报出:

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.thrift.TApplicationException: Internal error processing get_partition_names

(备注:为了完整而干净的删除一个数据库,我们可以选择在使用cascade关键字来drop一个database,例如:drop database if exists your-database cascade;)

当然,这里是报出的partition的信息混乱了,也有可能其他元数据出了问题,我们这里只以这个错误信息为例来说明一下解决方法:

是的,原因就像上面提到的,你将要建立的库和metastore中保存的库的元数据冲突了,这时候,我们只能手动删除metastore中的相关数据了!连接到metastore使用的数据库(这里假定是mysql),这个错误是与partition有关的,所以我们要清除partition表里的相关信息,如果我们只有一个库,我们可以简单且粗暴的清空这几个表:


truncate table PARTITION_KEY_VALS;truncate table PARTITION_PARAMS;truncate table PARTITIONS;

如果你有多个库,那你需要使用delete table .... where ... 来有选择的删除指定库里的表的partition信息了。

           
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值