HDFS误删数据如何恢复

最新推荐文章于 2024-05-11 15:07:20 发布
最新推荐文章于 2024-05-11 15:07:20 发布
阅读量1k 收藏 1
点赞数
分类专栏： 面试题 文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feizuiku0116/article/details/121983885
版权

HDFS误删数据如何恢复

  • HDFS 为我们提供了垃圾箱的功能，也就是当我们执行 hadoop fs -rm -r xxx 命令之后，文件并不是马上被删除，而是会被移动到执行这个操作用户的 .Trash 目录下，等到一定的时间后才会执行真正的删除操作。
  • 找到自己误删的数据，可以mv到原来的目录下就可以了。如果原来 的目录不在了可以先创建
飞Link
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
被误删的HDFS文件如何有效恢复
萌兔兔MMQ！！
08-15 1411
NameNode在收到删除命令时，会先将这个命令写到edits中，然后会告诉DataNode执行真正的文件删除操作。所以我们在误删文件后，需要做的是立刻停止NameNode和DataNode节点，阻止删除命令的执行。OP_DELETE代表删除操作，可以将这个标记修改为安全的操作（如OP_SET_PERMISSIONS），如果这个命令在最后，可以直接删除，然后保存。文件的恢复存在以下几种情况：(主要和集群的繁忙状态有很大关系。最后再启动NameNode和DataNode节点，查看误删文件的恢复情况。...
如何恢复在HDFS中删除的文件
hotbigdata的博客
04-20 5529
       在大数据平台中，hdfs里面如果误删除文件后，我们需要对文件进行恢复，但是如果没有做相关配置，或者预先做设置，则会导致灾难性的后果，o(╥﹏╥)o       我们可以通过下面几种方式来恢复误删除文件：       在垃圾回收站中恢复：hdfs中提供类似其他文件系统中的垃圾回收站的功能，被删除的文件会被移动到该回收站中，也就是有的同学想要腾出空间，使用了hadoop fs -rmr ...
恢复HDFS上误删除的文件
第一片心意的博客
06-30 1596
HDFS 为我们提供了垃圾箱的功能，也就是说当我们执行 hadoop fs -rmr xxx命令之后，文件并不是马上被删除，而是会被移动到，等到一定的时间后才会执行真正的删除操作。从上面的例子中可以看出，在我们删了 test.txt 文件之后，文件被移到路径下，如果这个操作属于误操作，我们则可以到回收站找回这个文件并直接mv回原来的目录，即可恢复之前的数据。不过使用这个功能的前提是我们配置了 fs.trash.interval参数，默认是 0，代表不启用垃圾箱功能。</</</</
hdfs相关问题及解决方案归档
weixin_44976835的博客
08-26 2202
目录问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题2：Too many fetch-failures问题3：处理MR速度特别的慢问题4：能够启动datanode，但无法访问，也无法结束问题5：节点断联问题6：JVM内存不够问题7：Hadoop添加节点的方法问题8：给单个node新加硬盘问题9：IO写操作出现问题问题10：HDFS退服节点的方法问题11：IO异常问题12：status of 255 error问题13：sort by value问题14：restar
HDFS文件误删怎么办，一招教你恢复回来，再也不用担心删库跑路了_hdfs表被删了,怎么看操作记录
最新发布
2301_82244392的博客
05-11 857
别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。最近我才对这些路线做了一下新的更新，知识体系更全面了。
HDFS文件误删怎么办，一招教你恢复回来，再也不用担心删库跑路了
Vicky_Tang
09-25 3370
本文基于 Hadoop3.1.2版本讲解 HDFS 文件删除过程 下面是hdfs删除路径的方法，源码路径org.apache.hadoop.hdfs.server.namenode.FSNamesystem.delete() /** * Remove the indicated file from namespace. * * @see ClientProtocol#delete(String, boolean) for detailed description and .
大数据初学者问题汇总之利用hdfs恢复本地文件，除了命令之外还有什么办法？
chengzixiannv的博客
04-04 344
本地文件删除了，怎么从hdfs上恢复到本地同一文件（md5值一样） 此处大家都知道的有get命令，除此之外还发现了另一种
hdfs数据误删后恢复方式
java_atguigu的博客
02-25 4946
我们知道hdfs是hadoop体系上的文件系统，负责具体的数据文件存储，且如果一旦hdfs文件被误删除后，尤其是重要数据，对公司来说影响非常大。所以需要提前做一些安全预防措施，例如使用Hdfs Trash机制，或者重要目录应用Hdfs SnapShot功能，然后针对于删除的文件或者目录可以通过trash或者SnapShot机制来进行恢复，如果数据确实已经删除了（例如直接通过hadoop api进行delete，未配置SnapShot），如果想恢复数据，就需要快速采取一定的措施了。下面我们来分别介绍下这些恢复
hadoop hdfs 备份快照
08-17
snapshot为hadoop2.1.0时新增加的功能。 主要为防止用户误删数据，和数据备份的作用 快照的对象为HDFS目录，前提是该目录是可以允许设置快照的（SnapShotable）
云计算之HDFS.ppt
07-08
HDFS的空间回收机制更为保守，文件删除后数据不立即清除，便于误删后的恢复。 【HDFS API】 HDFS提供了一系列API供用户与系统交互，如`hdfs.copyFromLocalFile()`方法用于将本地文件上传到HDFS。开发者可以利用...
HDFS官方设计文档
09-26
5. **快照功能**：允许用户在不影响文件系统正常运行的情况下，创建文件系统的快照，便于数据恢复。 #### 九、数据组织：优化数据访问效率 HDFS通过以下方式优化数据访问效率： 1. **数据块**：将文件分割成固定...
12、HDFS Trash垃圾桶回收介绍与示例
05-29
Trash中的文件会在用户配置的时间延迟后被永久删除，提供了数据恢复的窗口期。 Trash Checkpoint机制是为了更有效地管理回收站中的文件。它是一个特定时间点的快照，保存在`/user/${username}/.Trash/{timestamp_of...
[数据重现文件系统原理精解与数据恢复最佳实践].(马林).影印版
06-28
数据恢复是本书的重要部分，涵盖了文件误删、硬件故障、病毒感染等情况下的恢复策略。数据恢复过程中，可能需要利用专门的工具，如磁盘镜像、数据扫描、文件碎片重组等技术，以尽可能完整地恢复丢失的数据。此外，书...
Hive：从HDFS回收站恢复被删的表
大数据知识梳理
11-14 1698
Hive：从HDFS回收站恢复被删的表
三种恢复 HDFS 上删除文件的方法
renzhewudi77的博客
09-21 706
本文转自两篇博文： 过往记忆：https://www.iteblog.com/archives/2321.html?from=related https://www.cnblogs.com/cuishuai/p/8288976.html 三种恢复 HDFS 上删除文件的方法 我们每天都可能会操作 HDFS 上的文件，这就很难避免误操作，比如比较严重的误操作就是删除文件。本文针对这个问题提...
Hadoop回收站trash-恢复删除的文件
sunny_sailor的专栏
02-20 2254
Hadoop回收站trash，默认是关闭的。 习惯了window的同学，建议最好还是把它提前开开，否则误操作的时候，就欲哭无泪了 1.修改conf/core-site.xml,增加 Xml代码   property>    name>fs.trash.intervalname>    value>1440value>    description>Number of
大数据初学者问题汇总之恢复已删除的hive表数据
chengzixiannv的博客
04-06 697
如果不小心误删了hive某一个分区表怎么办？ 如果hdfs上也删了呢？
误删除HDFS文件的终极恢复
有信仰的蜗牛
05-09 2796
概述 使用过HDFS的同学都知道，HDFS有垃圾回收站的功能，当你误删除文件的时候，HDFS会把文件存储到你所在用户的垃圾回收站中，想要恢复文件，只需要从垃圾回收站中找回，当然必须在垃圾回收站的指定日期中。这个是正常的操作。 下面我说一个不正常的操作，如果你的垃圾回收站的间隔日期设置的比较大，当你需要执行大量MR任务时候，就会存在很多垃圾日志存储到你的回收站中，这样就占用了系统大量的存储资。为了解决这个问题，于是想到了如果跳过回收站去删除文件不就可以了。接着执行了一下的指令： hdfs dfs -rm -R
Hadoop HDFS 数据流源码分析：DataNode 动态行为剖析
Hadoop源码分析HDFS数据流 **HDFS数据流概述** HDFS（Hadoop Distributed File System）是Hadoop系统中的分布式文件系统，负责存储和管理大规模数据。HDFS数据流是指HDFS中数据的写入、读取和传输过程。了解HDFS...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值