Hive表drop删除表后恢复表的分区数据

最新推荐文章于 2022-04-05 21:32:29 发布
最新推荐文章于 2022-04-05 21:32:29 发布
阅读量3.6k 收藏 4
点赞数 2
分类专栏： Hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wx1528159409/article/details/102781602
版权

如果HDFS配置好回收站的话，drop删除表后可以通过命令恢复表数据，

例如回收站HDFS路径如下：

/user/hdp_teu_dpd/.Trash/Current/

表的HDFS路径如下：

/home/hdp_teu_dpd/warehouse/wbdb.db/dw_smart_merge_idmapping/

当drop table dw_smart_merge_idmapping后，需要恢复数据，可以采用如下命令：

hdfs dfs -mv viewfs://58-cluster/user/hdp_teu_dpd/.Trash/Current/home/hdp_teu_dpd/warehouse/wbdb.db/dw_smart_merge_idmapping/dt=20191020 viewfs://58-cluster/home/hdp_teu_dpd/warehouse/wbdb.db/dw_smart_merge_idmapping/

将每一天的分区数据恢复到hive表的路径上，然后再修复一下hive表元数据即可完成正常的数据select查询

MSCK REPAIR TABLE wbdb.dw_smart_merge_idmapping;

不过需要注意的是这种方法只适合drop删除的表，truncate删除的表数据无法恢复。

攻城狮Kevin
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【无标题】hive外部表删除后,重建,恢复分区数据
qq_45993667的博客
04-09 325
hive
hive表或分区被误删了怎么找回？
weixin_38554502的博客
07-10 1690
hive表或分区被误删了怎么找回？ 在平常工作中，因为这样那样的原因表数据被误删了，这个时候要怎么找回呢？ 先记一下昨天刚发生过的问题。 线上数据因为之前的误操作存在一些脏分区，比如像这样的： 这种异常分区比较多，手动删除用alter table dw_dim.dim_shop_d_his drop partition(dt=‘2018-06-04’) 太多了，比较费劲。这个时候就考虑写个脚本批量删除，结果判断是否为脏分区的状态值设大了，导致正常数据被误删了好多。（这个时候就提醒我们在做线上操作的时候一定要
记一次Hive库里手动删除表，但是HDFS上还存在表文件奇怪问题
心向，往之
11-05 1万+
正常在hive库即hive命令行中删除一张表，hdfs上也是同步的被删除的，但是这次发现在hive里手动建了一张表，然后使用drop table 表名后，hive库里的确没发现这张表了，但是HDFS上还是有。 我使用的建表建库语句： create database test1 location 'hdfs://beh/user/test1/test1.db';   //创建库指定路径 use ...
Hadoop之hive的drop table恢复
感谢你的关注~~~~ღ( ´･ᴗ･` )
08-16 1049
一、恢复过程： 　　在之前我有对hadoop的回收站有过了解，就是将hdfs dfs -rm删除掉的文件进行恢复，只需要hdfs dfs -mv将文件从回收站中搬过来就行，我就先使用这个方法，但是效果不佳，执行select count(*) from table_name，得到的结果为0。这个时候我想到这个表被drop掉以后在mysql的元数据库中已经没有数据了，那就得需要将这些数据的信息重新写...
hive恢复drop table数据
haijiege的专栏
11-02 6627
hive 中使用truncate命令将表截断的话，它是不会进回收站的，是没办法恢复的。这个跟oracle truncate有点类似的。        恢复在hive中通过drop table删除的数据文件就是将hdfs dfs -rm删除掉的文件进行恢复，只需要hdfs dfs -mv将文件从回收站中搬过来就行，我就先使用这个方法，但是效果不佳，执行select count(*) from ta...
hive drop表恢复手册
cnheasy
01-10 572
前言 语法:DROP TABLE [IF EXISTS] table_name [PURGE]; -- (Note: PURGE available in Hive 0.14.0 and later) 删除此表的元数据和数据。如果配置了Trash (没有指定 PURGE)，数据实际上会移动到 .Trash/Current 目录。元数据完全丢失。 删除外部表时，表中的数据不会从文件系统中删除。 当删除视图引用的表时，不会给出警告(视图关联表被删除视为无效，必须由用户删除或重新创建)。
hive 分区_hive表或分区被误删了怎么找回？
weixin_39882271的博客
12-01 479
在平常工作中，因为这样那样的原因表数据被误删了，这个时候要怎么找回呢？先记一下昨天刚发生过的问题。线上数据因为之前的误操作存在一些脏分区，比如像这样的：这种异常分区比较多，手动删除用alter table dw_dim.dim_shop_d_his drop partition(dt=‘2018-06-04’) 太多了，比较费劲。这个时候就考虑写个脚本批量删除，结果判断是否为脏分区的状态...
小白篇(十八)：恢复Hive误删的表数据
belialxing的专栏
11-09 2683
我的原文地址： https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&tempkey=MTA4Nl9kOUdETjQzYnN4bHlENm5ybndmR2lYX2ZNanlYQ1VrM2VjbFVDN2VhZS0xMDBUZXVHNVVPLVg0THRYTEhKZEVXb0ZYX2dRU2RRdmVDbjJfYmNXTkxjUzA3RXVXeFpzQm81eTYxXzFxX3duVUlkdmJ0SlVka0RpZHVWSGVuZEtNejAwQTdmX
hive分区表分通表建表语句详解和例子
11-01
- **删除分区**：通过`ALTER TABLE my_partitioner4 DROP PARTITION (sex='woman', country='china');`。 - **显示已有分区**：`SHOW PARTITIONS my_partitioner4;`。 - **清空表数据**（保留表结构）：`TRUNCATE ...
hive表新增字段或者修改字段
04-20
3. 修改完成后，再将表恢复为外部表，以便保持原有的数据存储逻辑： ```sql alter table 数据库名.表名 set tblproperties('EXTERNAL' = 'TRUE'); ``` 接下来，我们讨论如何在Hive中新增表字段。同样，如果表是...
第 10 章 分区表和分桶表
最新发布
12-31
在Hive中，分区表和分桶表是两种非常重要的数据组织方式，它们有助于管理和优化大数据处理的效率。分区表是将一个大的表按照特定的业务需求分割成多个子目录，每个子目录对应一个分区，这样在查询时可以通过WHERE...
Hive案例数据集.rar
10-27
2. 表操作：创建表（CREATE TABLE），删除表（DROP TABLE），修改表结构（ALTER TABLE）。 3. 查询操作：使用SELECT语句进行数据查询，可以配合WHERE子句进行条件过滤，使用GROUP BY进行分组统计，使用JOIN进行多表...
Hive数据仓库全流程开发
11-28
- Hive也不支持`DELETE`语句，但可以使用`ALTER TABLE DROP PARTITION`来删除特定的分区数据。 #### 四、日常运维 - **表维护**：包括添加、删除分区等操作。 - **性能调优**：通过对Hive配置参数的调整，优化查询...
hive表被误删后如何恢复？
11-01 4275
1、首先去垃圾箱找到被删除的表数据 hadoop fs -du -h /user/用户名/.Trash/Current/user/用户名/warehouse; 2、把数据copy到原始的文件夹 hadoop fs -cp 垃圾箱/表名 原始文件夹/表名 3、修复分区 MSCK REPAIR TABLE 表名 4、验证数据 select * from 表名 limit 100; ......
误删hive表如何恢复
fuyun6363的博客
04-05 2312
CDH环境,已配置回收站,配置回收站默认日期保存为一天 失误将hive表数据删除,删除的数据移动到了回收站中,位于 /user/hive/.Trash/删除日期XXX/hive/warehouse数据库名.db/表名
 先查看表名文件中是否是删除的表 hdfs dfs -ls /user/hive/.Trash/Currerrt/user/hive/warehouse/数据库据库名.db | grep 表名 对于有分区的表,额外执行 msck repair table 数据库.表名 对于该表有权限管理
恢复 Hive 删除表，数据库
bigdataprimary的博客
12-15 7049
背景：CDH集群hue窗口操作，删除database； hive中使用 drop table或者drop database 删除数据之后是可以进行恢复的，truncate掉的数据目前无法恢复。 删除掉的数据可以在trash文件夹中找到，点击restore恢复至删除前的文件位置，如果删除的时间比较久回收站被清除也无法恢复。 恢复步骤： 恢复数据至原位置   找到删除的文件夹...
HIVE删除外部表
行走的IT
07-25 3万+
测试 使用truncate命令删除外部表: truncate table mytable; #FAILED: SemanticException [Error 10146]: Cannot truncate non-managed table mytable. (state=,code=0) 分析 查看表结构 1. describe extended tablename 2. ...
hive截取字符串substr和substring的用法
热门推荐
攻城狮Kevin
06-05 8万+
第一种用法： substr（string A，int start）和 substring（string A，int start），用法一样 功效：返回字符串A从下标start位置到结尾的字符串 第二种用法： substr（string A，int start，int len）和 substring（string A，int start，int len），用法一样 功效：返回字符串A...
hive表删除指定分区的数据
06-01
可以使用 Hive 的 `ALTER TABLE` 命令以及 `DROP PARTITION` 子句来删除指定分区的数据。具体的操作步骤如下： 1. 进入 Hive 命令行界面，使用 `USE` 命令选择要操作的数据库。 2. 使用 `DESCRIBE` 命令查看要删除数据的表的分区信息，确定要删除的分区名称。 3. 使用 `ALTER TABLE` 命令以及 `DROP PARTITION` 子句删除指定分区的数据，语法如下： ```sql ALTER TABLE table_name DROP PARTITION (partition_column = 'partition_value'); ``` 其中，`table_name` 为要删除数据的表的名称，`partition_column` 为分区列的名称，`partition_value` 为要删除的分区值。 4. 执行上述命令后，Hive 会删除指定分区的数据，但不会删除分区本身。如果要删除分区，可以使用 `ALTER TABLE` 命令以及 `DROP PARTITION` 子句的 `IF EXISTS` 选项，语法如下： ```sql ALTER TABLE table_name DROP PARTITION (partition_column = 'partition_value') IF EXISTS; ``` 这样，如果要删除的分区不存在，Hive 不会报错，而是直接返回成功。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值