hive sql 问题集(不断更新)

1 篇文章 0 订阅

1.problem:hive sql : drop table A,当重新create table A,发现table A中是有数据的,就是drop前A表中原来的数据。

solution:

当我们drop table的时候,hive会把table的metadata删除掉,但是table的数据文件在移到垃圾桶中可能会失败(这个失败并不会告诉我们)。这个时候,我们就需要检查hadoop fs

-ls /user/<user>/.Trash的权限。确保我们的<user>有足够的权限。

当然,如果我们hadoop fs -ls /user/<user>/.Trash发现没有这个文件,这就说明我们的hadoop没有开启这个功能。这个时候我们可以通过SET fs.trash.interval =30; DROP TABLE <table>;来临时规定个时间来drop table。如果这个有效,我们就可以在core-site.xml配置,使fs.trash永久生效。

参考:http://stackoverflow.com/questions/20114597/hive-files-on-hdfs-not-being-deleted-when-managed-not-external-table-is-droppe

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值