hadoop 误删目录的恢复方法

最新推荐文章于 2024-07-01 13:45:44 发布
最新推荐文章于 2024-07-01 13:45:44 发布
阅读量3.1k 收藏 1
点赞数
分类专栏： 系统相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LegenDavid/article/details/79140295
版权
当在HDFS中误删数据时，数据通常不会立即消失，而是进入回收站，约20小时后才会被彻底清除。要恢复数据，需找到对应回收站路径，如“/data/user/删除时所用账号/.Trash/时间分隔/删除时的路径”。通过`hadoop fs -ls`命令找到回收站路径，然后使用`hadoop fs -mv`命令将数据移动回正确位置，完成恢复操作。
摘要由CSDN通过智能技术生成

HDFS误删数据怎么办？（所谓人有失手马有失蹄，在处理HDFS中的数据时总会遇到一些“小”意外的）

答：

别担心，正常情况下，它并没有真正的删除，而是暂时先乖乖的躺在回收站里，大约20小时后才会被彻

最低0.47元/天 解锁文章
LegenDavid
关注
专栏目录
被误删的HDFS文件如何有效恢复
萌兔兔MMQ！！
08-15 488
NameNode在收到删除命令时，会先将这个命令写到edits中，然后会告诉DataNode执行真正的文件删除操作。所以我们在误删文件后，需要做的是立刻停止NameNode和DataNode节点，阻止删除命令的执行。OP_DELETE代表删除操作，可以将这个标记修改为安全的操作（如OP_SET_PERMISSIONS），如果这个命令在最后，可以直接删除，然后保存。文件的恢复存在以下几种情况：(主要和集群的繁忙状态有很大关系。最后再启动NameNode和DataNode节点，查看误删文件的恢复情况。...
hadoop集群恢复删除掉的节点
co_diy的专栏
12-16 2281
这两周在学hadoop，学的过程碰到一些问题，在这里写写. 今天的问题是怎么把删除的datanode恢复 当时因为没执行refreshNodes，结果datanode启动不成功 报了如下错误：  ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: java
在不开启回收站的情况下恢复Hadoop误删除文件
ciqingloveless的博客
04-22 1154
这个问题其实比较严重，提前说一下结论，能恢复的只有执行删除后未删除的数据，已经删除的数据无法恢复。 什么叫执行删除后未删除的数据呢，因为hadoop执行删除时是在edits文件中添加一个标记，然后慢慢删除，这其中有个过程，假如你只删除一个文件，那我估计这种方式是无法恢复的，这个办法只能恢复标记删除而未删除的记录。 停止Hadoop集群 停止集群这一步的时间，决定了你能恢复数据的多少，假如停止过慢，.........
Hadoop集群误删数据紧急恢复详细步骤
最新发布
sunxunyong的博客
07-01 411
确认最早的FsImage文件replay的最后一个editlog文件的时间，若晚于删除操作的时间，即最早的FsImage文件存储的元数据中，已经将数据删除，故最早的FsImage文件已经无法用于数据恢复。若必须恢复，可以从操作系统层面，去恢复没有被覆写（overwrite）的硬盘（HDD）分区（sector）。最新checkpoint的元数据只有原来的1/4，故使用离当前时间点最近的fsimage。2、第一时间检查Fsimage文件，确认是否存在可用于数据恢复的Fsimage文件。
hadoop主节点（NameNode）备份策略以、恢复方法、操作步骤
weixin_30764883的博客
07-09 105
一、dits和fsimage 首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。 集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就是合并到fsimage...
Hadoop误删文件后恢复
SW_LCC的博客
11-05 2136
删除文件 不小心把hdfs里面的文件夹删除了，执行命令如下: hdfs dfs -rm -r /user/hadoop/analyse/game 到回收站中找到文件 设置回收站 <property> <name>fs.trash.interval</name> <value>1440</value> </property> 如果有设置回收站，hadoop删除文件时，不会立即删
hadoop 不小心误删了安装目录，如何恢复
qq_35888719的博客
01-10 1061
在修改hadoop配置文件的时候，因为也做了一些链接，所以就想删除掉，结果出事了，我不小心删除了hadoop的安装目录，就是下面这两个文件让我删除了（直奔主题的可以直接kill掉hadoop下的运行进程，重新复制一个安装包到原有目录即可） 但是灵机一动，我就想直接解压再mv过来一个不就行了 之前的 hadoop-2.7.3.tar.gz包在/mnt/hgfs/share/downloads里面 ...
hadoop的hive目录遭误删除（重庆，钟全龙）
zhongquanlong的博客
09-21 2652
的
Hadoop 中找回误删的文件
龍 博客
11-26 955
hadoop是目前常用的分布式文件存储系统，如果说是不小心误删了文件如何恢复呢？在删除的时候通常可以看到如下：Moved: 'hdfs://xxxxx/stock_1023' to trash at: hdfs://xxxxx/.Trash/Current然后你转到后面的那个目录中就可看到被删除的文件，然后只需要用hadoop mv命令恢复的指定文件目标位置就可以。trash 文件夹是定期清理的，具
hadoop配置文件还原_老师，我好像把hadoop配置文件给删了，要怎么办
weixin_39622398的博客
12-19 290
我在安装完hadoop后，在配置到mkdir temp 这个地方的时候，我用了rm-rf把他删了，结果好像很多文件都没了，我这个要重新安装hadoop吗？还是我要重新导入相关的配置文件[hadoop@hadoop001 app]$ cd temp[hadoop@hadoop001 temp]$ pwd/home/hadoop/app/temp[hadoop@hadoop001 temp]$ rm ...
hadoop文件误删恢复（官网自带回收站设置）
AntKengElephant的博客
11-12 502
https://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-common/core-default.xml 官网的配置释义 Number of minutes after which the checkpoint gets deleted. If zero, the trash feature is disabled. ...
hadoop 备份与恢复_0661-6.2.0-Hadoop数据备份与恢复
weixin_34710938的博客
02-03 2190
作者：汪汝庆1.文档编写目的在Hadoop集群中，数据文件是以Block的方式存储在HDFS上，而HDFS上数据的名称，副本存储的地址等都是通过NameNode上的元数据来保存的。Hive的数据库和表的数据也是保存在HDFS中，而Hive的元数据metastore则保存在关系型数据库中。这些文件和数据如果丢失或者损坏，都会导致相应的服务不可用，Hadoop集群可以启用某些组件和服务的高可用或者备份...
hadoop误删除文件恢复的方法
狐狸叫
10-22 4543
1.修改conf/core-site.xml,增加       fs.trash.interval      1440      Number of minutes between trash checkpoints.       If zero, the trash feature is disabled.            默认是0.单位分钟。这里我设置的是1
HDFS文件误删怎么办，一招教你恢复回来，再也不用担心删库跑路了
Vicky_Tang
09-25 3449
本文基于 Hadoop3.1.2版本讲解 HDFS 文件删除过程 下面是hdfs删除路径的方法，源码路径org.apache.hadoop.hdfs.server.namenode.FSNamesystem.delete() /** * Remove the indicated file from namespace. * * @see ClientProtocol#delete(String, boolean) for detailed description and .
Hadoop之HDFS上测试创建目录、上传、下载文件,遍历目录
热门推荐
Vincent
08-27 1万+
遍历 循环遍历根目录，慎重 hdfs dfs -ls -R / 遍历根目录文件夹和文件 hdfs dfs -ls / 上传文件 到HDFS已经存在的目录下 上传文件到 / 跟目录下 hdfs dfs -put /home/vc/dev/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml / 查看刚才上传文件 ...
9）Hadoop之HDFS（集群安全模式、NN多目录配置）
zy
09-24 273
集群安全模式 概述： NameNode启动： NN启动时，首先将镜像文件（Fsimage）加载进内存，并执行编辑日志（Edits）中的各项操作，一旦内存中建立起文件系统元数据的映像，则创建一个新的Fsimage和一个空的Edits，此时，NN开始监听DN的请求。在这个过程期间，NN一直运行在安全模式中，即文件系统对客户端来说是只读的； DataNode启动： 系统中数据块的位置并不是NN维护...
hadoop集群目录和端口配置
魏同学不会讲故事
07-25 2492
参数 描述  默认  配置文件 例子值 dfs.name.dir name node的元数据,以,号隔开,hdfs会把元数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉 {hadoop.tmp.dir} /dfs/name hdfs-site.xm /hadoop/hdfs/name dfs.name.edits.dir
HDFS文件误删除之恢复
mas2005的博客
07-21 5245
启动HDFS的垃圾回收站为了防止误删，一般默认是关闭的，需要我们自己配置文件打开。 修改core-site.xml     &lt;property&gt;                &lt;name&gt;fs.trash.interval&lt;/name&gt;                &lt;value&gt;1440&lt;/value&gt;               ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值