HDFS副本丢失修复方法

最新推荐文章于 2023-04-04 14:35:27 发布
最新推荐文章于 2023-04-04 14:35:27 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： Hadoop 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18629653/article/details/118225476
版权

image.png检查方法

切换到hdfs用户

su - hdfs

hdfs fsck /

image.png

副本数量是3但只找到两个

image.png

尝试修复丢失的副本

命令说明：hdfs debug recoverLease -path 文件位置 -retries 重试次数

hdfs debug recoverLease -path /hbase/oldWALs/node01%2C60020%2C1605600631429.meta.1605607974721.meta -retries 1

image.png

如果副本数量设置的为1，所有副本丢失，可以直接删除块（该操作有风险，谨慎使用）

使用fsck命令将丢失的块删除

hdfs fsck -delete

重启hdfs

会飞的鹅_
关注
专栏目录
被误删的HDFS文件如何有效恢复
萌兔兔MMQ！！
08-15 1489
NameNode在收到删除命令时，会先将这个命令写到edits中，然后会告诉DataNode执行真正的文件删除操作。所以我们在误删文件后，需要做的是立刻停止NameNode和DataNode节点，阻止删除命令的执行。OP_DELETE代表删除操作，可以将这个标记修改为安全的操作（如OP_SET_PERMISSIONS），如果这个命令在最后，可以直接删除，然后保存。文件的恢复存在以下几种情况：(主要和集群的繁忙状态有很大关系。最后再启动NameNode和DataNode节点，查看误删文件的恢复情况。...
【排错/运维】修复HDFS丢失、损坏以及副本数的问题
hiliang521的博客
09-30 4353
【排错/运维】修复HDFS丢失、损坏以及副本数的问题
hdfs 块副本丢失怎么办_如何处理丢失的块以及HDFS中副本损坏的块？
cuma2369的博客
07-21 3284
hdfs 块副本丢失怎么办One of HDFS cluster’s hdfs dfsadmin -report reports: HDFS集群的hdfs dfsadmin -report报告之一： Under replicated blocks: 139016 Blocks with corrupt replicas: 9 Missing blocks: 0The “Under replica...
如何恢复hdfs中丢失的块
Small_temper的博客
01-19 2061
可以使用 hdfs fsck / 确定哪些文件有问题。查看输出中是否有丢失或损坏的块（暂时忽略复制不足的块）。该命令特别冗长，尤其是在大型HDFS文件系统上，因此我通常会深入了解 hdfs fsck / | egrep -v '^\.+$' | grep -v eplica 它忽略了只有点和线谈论复制的线。 hdfs fsck /path/to/corrupt/file -locatio...
linux查看hdfs副本数量,使用hdfs fsck检查副本数不足，怎么恢复
weixin_33677704的博客
05-15 1767
今天将NO-HA转移到HA的时候出现了数据丢失，本来是全部丢失。后来将dfs备份的目录导入到了新生成的DN节点中dfs目录下了。找回来一部分，但是还有是39个文件丢失。还出现了一些文件副本数不足。我是将曾经的一个DN节点设置成了HA的NN2节点，新的NN2节点上的dfs数据肯定丢失了。丢失的DN节点中的文件副本不会自动同步到其他DN节点上吗？请问下各位大牛怎么解决部分副本数不足的情况。[mw_sh...
HDFS副本丢失问题彻底解决：原因剖析与全面恢复技巧
![HDFS副本丢失问题彻底解决：原因剖析与全面恢复技巧]...在深入探究副本丢失的根本原因之前，本章将简要介绍HDFS副本丢失问题的背景、影响及其在大数据处理中的重要性。理解这些问题对于确保数据的完整性与
HDFS副本放置策略深度解析：专家级数据分布优化方法
[HDFS副本放置策略深度解析：专家级数据分布优化方法](https://media.geeksforgeeks.org/wp-content/uploads/20200618125555/3164-1.png) # 1. HDFS副本放置策略基础 在数据密集型的现代IT环境中，存储系统的性能和...
【减少数据丢失风险】：HDFS副本策略实战指南
[【减少数据丢失风险】：HDFS副本策略实战指南](https://media.geeksforgeeks.org/wp-content/uploads/20200618125555/3164-1.png) # 1. HDFS副本策略概述 在大数据存储的背景下，Hadoop分布式文件系统（HDFS）的...
HDFS副本丢失与SafeMode问题
weixin_43946406的博客
07-13 419
hdfs fsck / 后面的路径是指定检查哪个目录下有无效块，根据丢失文件目录可以细化，以提高检查速度 该命令会返回 FSCK started by hdfs (auth:SIMPLE) from /xxx.xxx.xxx for path / at Fri Jul 26 14:37:29 CST 2019 … … … … … /…/c9ddcb18-51c0-4fa7-bdab-daa5079bc094/rdd-1061487/_partitioner: Under replicated B
大数据初学者问题汇总之利用hdfs恢复本地文件，除了命令之外还有什么办法？
最新发布
chengzixiannv的博客
04-04 368
本地文件删除了，怎么从hdfs上恢复到本地同一文件（md5值一样） 此处大家都知道的有get命令，除此之外还发现了另一种
HDFS坏块清除和修复
Daverain的博客
01-09 8934
检测路径下是否有坏块： bin/hdfs fsck / 删除路径下的坏块： bin/hdfs fsck / -delete 修复坏块： hdfs debug recoverLease -path / -retries 5 retries 为重试次数
hadoop 副本不足或者损坏情况以及两个standby namenode的处理
weixin_42728895的博客
01-06 1930
一 hadoop两个standby namenode的处理 1.先检查zookeeper启动是否正常，配饰是否正确 2.重启启动namenode和zkfc 3.如果没有恢复正常，在namenode上面执行bin/hdfs haadmin -transitionToActive nn2 其中nn2是你的namenode中的一个（如果是新配置的HAhadoop集群，可能是zkfc（DFSZKFailoverController）没有格式化导致namenode节点的自动切换机制没有开启） 二、安全模式 当 hdf
【hadoop】HDFS块修复
lsr40的博客
03-25 5992
背景 HDFS场景下，有时候某些异常会导致丢失文件块！这时候，我们如何处理这些文件块，或者说这些文件块是否还有救？ 丢文件块是一种统一的说法，实际上是两种情况，一个是Corrupt blocks，一个是Missing replicas 先说个背景知识：当我上传一个文件到HDFS，这个文件在HDFS上看得到，也可以正常使用，实际上在磁盘上会存两种类型的文件 举例： 1、blk_1073743119 2、blk_1073743119_2295.meta 第一个文件就是实际上的数据，如果你的文件是文.
说说hdfs是如何处理块副本多余和缺失的
hncscwc的博客
12-17 1991
上一文，我们讲了nn在内存中如何对元数据进行存储和管理的，文章最后也提到了nn内部如何保证块的副本数维持在指定个数，即对副本缺失的块触发块副本复制，对副本多余的块触发块副本删除。本文就来详...
hdfs--lease recovery和block recovery源码分析
breakout_alex的博客
09-27 1965
append操作在namenode这端主要逻辑在FSNameSystem的appendFileInternal函数中处理，内部会调用 前言 在DFSClient写文件的时候，对于文件的每一个block，生成一个pipeline，然后按照这个pipeline进行数据传输，但是可能在数据传输过程中，DFSClient发生中断，例如断网等，此时该block在NameNode中处于Under...
生产HDFS Block损坏恢复最佳实践(含思考题) (zhuan)
u011500419的专栏
06-06 635
一.文件ruozedata.md 上传: -bash-4.2$ hdfs dfs -mkdir /blockrecover -bash-4.2$ echo "www.ruozedata.com" > ruozedata.md -bash-4.2$ hdfs dfs -put ruozedata.md /blockrecover -bash-4.2$ hdfs dfs -ls /b...
cdh集群节点系统文件损坏，重装系统恢复Hdfs数据
sunyang098的博客
08-17 4011
由于意外，集群中的一个节点系统坏了，重装系统后，把该节点添加集群中，恢复hdfs数据。 思路：主要问题是把hdfs的数据恢复，由于hdfs的机制very good，只要把节点从集群中删掉，再添加进集群中，配置hdfs对应目录就好。 背景：安装的cdh5.8，使用cm界面进行管理 流程： 1.从集群中删除节点，删除的时候，勾选解除授权。 2.从主机管理中删除节点 3.
Hadoop
m0_60212259的博客
02-20 208
Hadoop从入门到精通
遇到hadoop 集群挂掉情况处理情况分析
weixin_42489619的博客
11-15 3939
早上起来发现我们的spark调度任务挂掉（spark运行报错日志报错是数据块丢失），当时查看hadoop集群节点状态，发现bd-node01节点是Down状态（当时是挂掉了）。但是节点挂掉不应该导致任务运行不了，因为正常情况下hadoop集群数据都是有备份的，至少得是2份，即使bd-node01挂掉，也会在其它节点找bd-node01上数据的备份数据就行读取。于是带着疑问看了下overview页面发现确实是有块丢失。 于是查看hadoop集群相关数据的副本数： hiveods库副...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值