HDFS误删数据如何恢复

最新推荐文章于 2024-07-01 13:45:44 发布
最新推荐文章于 2024-07-01 13:45:44 发布
阅读量1.7k 收藏 1
点赞数 2
文章标签： hdfs hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42594269/article/details/109310520
版权
本文讲述了在HDFS中误删除数据后如何利用HDFS的垃圾箱功能进行恢复。当执行`rm`命令后，文件会被移动到用户的`.Trash`目录下，在设定时间内未被真正删除。恢复数据需要进入相应用户的`.Trash`目录，找到误删文件并移动回原位置，确保目录存在且权限正确。启用`fs.trash.interval`参数是防止误删的关键，建议设置适当时间以提供额外保障。作为程序员，执行删除操作时应格外小心。
摘要由CSDN通过智能技术生成

今天在用linux命令查询hdfs数据时。因为之前刚把测试环境删除，所以执行了

hadoop fs -rm -r  /warehouse/hdw/ods/ods_tbl_et_live_message_log_test

接下来准备去查询正式表的时候，把test去掉之后就直接执行了。整个目录都被我干掉了。。。。

心慌一下忽然想起来可以恢复，感觉去操作了一波，但是要引以为戒。。接下来上正事：

HDFS 为我们提供了垃圾箱的功能，也就是当我们执行 hadoop fs -rm -r xxx 命令之后，文件并不是马上被删除，而是会被移动到执行这个操作用户的 .Trash 目录下，等到一定的时间后才会执行真正的删除操作。

首先进入对应用户的目录下。我使用的hdfs用户删除的：

hadoop fs -ls /user/hdfs/.Trash/Current/warehouse/hdw/ods/ods_tbl_et_live_message_log

上图是我之前删除的记录，现在还在。刚刚删除的已经恢复了。

接下来找到自己误删的数据，可以mv到原来的目录下就可以了。如果原来 的目录不在了可以先创建，记得注意用户权限

hadoop fs -mv /user/hdfs/.Trash/Current/warehouse/hdw/ods/ods_tbl_et_live_message_log/pt=20201026 /ware
最低0.47元/天 解锁文章
FleeyCui
关注
被误删的HDFS文件如何有效恢复
萌兔兔MMQ！！
08-15 1455
NameNode在收到删除命令时，会先将这个命令写到edits中，然后会告诉DataNode执行真正的文件删除操作。所以我们在误删文件后，需要做的是立刻停止NameNode和DataNode节点，阻止删除命令的执行。OP_DELETE代表删除操作，可以将这个标记修改为安全的操作（如OP_SET_PERMISSIONS），如果这个命令在最后，可以直接删除，然后保存。文件的恢复存在以下几种情况：(主要和集群的繁忙状态有很大关系。最后再启动NameNode和DataNode节点，查看误删文件的恢复情况。...
HDFS文件误删怎么办，一招教你恢复回来，再也不用担心删库跑路了
Vicky_Tang
09-25 3449
本文基于 Hadoop3.1.2版本讲解 HDFS 文件删除过程 下面是hdfs删除路径的方法，源码路径org.apache.hadoop.hdfs.server.namenode.FSNamesystem.delete() /** * Remove the indicated file from namespace. * * @see ClientProtocol#delete(String, boolean) for detailed description and .
Hadoop集群误删数据紧急恢复详细步骤
最新发布
sunxunyong的博客
07-01 413
确认最早的FsImage文件replay的最后一个editlog文件的时间，若晚于删除操作的时间，即最早的FsImage文件存储的元数据中，已经将数据删除，故最早的FsImage文件已经无法用于数据恢复。若必须恢复，可以从操作系统层面，去恢复没有被覆写（overwrite）的硬盘（HDD）分区（sector）。最新checkpoint的元数据只有原来的1/4，故使用离当前时间点最近的fsimage。2、第一时间检查Fsimage文件，确认是否存在可用于数据恢复的Fsimage文件。
学了那么久Python还什么都做不了，我觉得你该试试这个方法了
热门推荐
龙叔的博客
11-08 1万+
答应我，别再做无用功了
hdfs数据误删后恢复方式
java_atguigu的博客
02-25 5028
我们知道hdfs是hadoop体系上的文件系统，负责具体的数据文件存储，且如果一旦hdfs文件被误删除后，尤其是重要数据，对公司来说影响非常大。所以需要提前做一些安全预防措施，例如使用Hdfs Trash机制，或者重要目录应用Hdfs SnapShot功能，然后针对于删除的文件或者目录可以通过trash或者SnapShot机制来进行恢复，如果数据确实已经删除了（例如直接通过hadoop api进行delete，未配置SnapShot），如果想恢复数据，就需要快速采取一定的措施了。下面我们来分别介绍下这些恢复
将误删hdfs文件恢复
LZX的博客
01-27 341
ambari 默认将hdfs删除数据保存至回收站6小时 到hdfs 目录/user/hdfs/.Trash 查看所删文件 hadoop dfs -mv /user/hdfs/Trash/xxx(被删文件位置) /xxx(想要恢复的位置)
hdfs误删文件恢复教程
weixin_45780435的博客
04-23 853
hdfs误删文件恢复教程(前提回收站是开启状态) 一.查看是否开启回收站 1 查看配置文件 core-site.xml文件中是否开启该fs.trash.interval配置 2.相关配置: 将该配置文件添加到 core-site.xml中 <!-- 配置回收站--> <property> <name>fs.trash.interval</name> <value>1440</value>
HDFS和Hbase误删数据恢复
大明湖里有蛤蟆
09-07 1万+
1.hdfs的回收站机制         客户有时会误删一下数据，是在生产环境下，误删数据会造成非常严重的后果。 2.hbase表删除恢复 如果disable+drop误删了hbase表数据，数据不会放到回收站中，hbase有自己的一套删除策略。 fs.trash.interval=0         以分钟为单位的垃圾回收时间，垃圾站中数据超过此时间，会被删除。如果是0，
如何恢复在HDFS中删除的文件
hotbigdata的博客
04-20 5539
       在大数据平台中，hdfs里面如果误删除文件后，我们需要对文件进行恢复，但是如果没有做相关配置，或者预先做设置，则会导致灾难性的后果，o(╥﹏╥)o       我们可以通过下面几种方式来恢复误删除文件：       在垃圾回收站中恢复：hdfs中提供类似其他文件系统中的垃圾回收站的功能，被删除的文件会被移动到该回收站中，也就是有的同学想要腾出空间，使用了hadoop fs -rmr ...
恢复HDFS中删除的文件
macanv的专栏
01-25 4757
刚才不小心操作删除了HDFS中的一个目录文件，百度了一些，发现找回其实挺简单的，笔者提供两种方法：1.通过终端命名；2.使用HDFS的API相关知识在HDFS中删除的文件不会马上直接删除掉，而是将其移动到了一个名为Trash的目录下，这种原理相当于电脑总的回收站机制，现在需要做的就是从回收站中将我们删除的文件还原出来。
恢复HDFS上误删除的文件
第一片心意的博客
06-30 1670
HDFS 为我们提供了垃圾箱的功能，也就是说当我们执行 hadoop fs -rmr xxx命令之后，文件并不是马上被删除，而是会被移动到，等到一定的时间后才会执行真正的删除操作。从上面的例子中可以看出，在我们删了 test.txt 文件之后，文件被移到路径下，如果这个操作属于误操作，我们则可以到回收站找回这个文件并直接mv回原来的目录，即可恢复之前的数据。不过使用这个功能的前提是我们配置了 fs.trash.interval参数，默认是 0，代表不启用垃圾箱功能。</</</</
恢复HDFS文件删除后的方法
weixin_34144848的博客
03-31 346
HDFS 为我们提供了垃圾箱的功能，也就是当我们执行 hadoop fs -rmr xxx 命令之后，文件并不是马上被删除，而是会被移动到执行这个操作用户的 .Trash 目录下，等到一定的时间后才会执行真正的删除操作。 如下所示： $ sudo -uiteblog hadoop fs -rmr /user/iteblog/test.txt Moved: 'hdfs://iteblogclu...
HDFS数据恢复模式
happy19870612's blog
11-16 3115
在现有的HDFS中，为了保证元数据的高可用性，我们可以在配置项dfs.namenode.name.dir中配置多个元数据存储目录来达到多备份的作用。这样一来，如果其中一个目录文件损坏了，我们可以选择另外可用的文件。那么问题来了，如果所有备用的元数据都损坏了，不能用了，这个时候怎么办，那么是否就意味着集群就永远启动不起来了呢？这将会是一个多么糟糕的结果啊。在这里，我们就要引出本文的主题：HDFS的数
2024年Python最全万能的Python算不明白“钱”？快来看一下_python money，2024年最新2024春招BAT面试真题详解
2401_84139728的博客
05-03 681
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
三种恢复 HDFS 上删除文件的方法
AcceptedLin的博客
03-15 518
三种恢复 HDFS 上删除文件的方法 我们每天都可能会操作 HDFS 上的文件，这就很难避免误操作，比如比较严重的误操作就是删除文件。本文针对这个问题提供了三种恢复误删除文件的方法，希望对大家的日常运维有所帮助。 通过垃圾箱恢复 HDFS 为我们提供了垃圾箱的功能，也就是当我们执行hadoop fs -rmr xxx命令之后，文件并不是马上被...
误删除HDFS文件的终极恢复
有信仰的蜗牛
05-09 2839
概述 使用过HDFS的同学都知道，HDFS有垃圾回收站的功能，当你误删除文件的时候，HDFS会把文件存储到你所在用户的垃圾回收站中，想要恢复文件，只需要从垃圾回收站中找回，当然必须在垃圾回收站的指定日期中。这个是正常的操作。 下面我说一个不正常的操作，如果你的垃圾回收站的间隔日期设置的比较大，当你需要执行大量MR任务时候，就会存在很多垃圾日志存储到你的回收站中，这样就占用了系统大量的存储资。为了解决这个问题，于是想到了如果跳过回收站去删除文件不就可以了。接着执行了一下的指令： hdfs dfs -rm -R
HDFS回收站配置与文件恢复详解
HDFS的Trash回收站功能提供了重要的数据保护机制，允许用户在误删或需要撤销删除操作时找回文件，同时也确保了系统的稳定性和性能。通过合理的配置和管理，HDFS能够满足大规模数据存储和处理场景下的需求。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值