hadoop文件损坏解决办法

最新推荐文章于 2021-11-29 15:35:48 发布
置顶 最新推荐文章于 2021-11-29 15:35:48 发布
阅读量1.7k 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop数据恢复 hadoop hadoop集群 namenode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weiweiyixiaocsdn/article/details/44994851
版权

今天把集群重新扩容了一下，把之前的两台电脑重新装了系统，结果启动hadoop发现报错了

问题原因：在hdfs-site中配置的副本书为1，而且把两台机子的文件给清理了，导致一部分数据丢失，而且无法恢复，报错导致hbase无法访问60010端口

解决办法：使用 hadoop fsck / 列出损坏文件，损坏的文件无法恢复，只能删除损坏的文件   hadoop fsck -delete

weiweiyixiaocsdn
关注
专栏目录
Hdfs系列之：查看hdfs文件状态，判断文件是否损坏，修复hdfs损坏文件
zhengzaifeidelushang的博客
03-30 2476
Hdfs系列之：查看hdfs文件状态，判断文件是否损坏，修复hdfs损坏文件一、查看Hdfs文件状态二、参数详解三、修复hdfs损坏文件 一、查看Hdfs文件状态 命令格式为： hdfs fsck path -openforwrite：打印hdfs文件状态 hdfs fsck /optics_prod/order/1h/20220123/13/debezium-flume-001.prod-flumedata.1648026226340.gz -openforwrite 输出如下所示： Status:
hadoop fsck命令详解
B11050101的博客
11-10 5400
HDFS健康的标准：如果所有的文件满足最小副本的要求，那么就认为文件系统是健康的。 （HDFS is considered healthy if—and only if—all files have a minimum number of replicas available）检查HDFS的健康情况：hadoop提供了fsck tool来对整个文件系统或者单独的文件、目录来进行健康状态的检查。
hadoop_hdfs namenode故障恢复（namenode中fsimage与edits文件损坏）
qq_45798620的博客
10-14 2616
NameNode故障恢复原理流程namenode保存fsimage的配置路径namenode保存edits文件的配置路径secondaryNamenode保存fsimage文件的配置路径secondaryNamenode保存edits文件的配置路径故障恢复代码解决方案 原理 使用为什么使用故障恢复的原理 流程 secondaryNamenode对namenode当中的fsimage和edits进行合并时，每次都会先将namenode的fsimage与edits文件拷贝一份过来，所以fsimage与edit
Hadoop 中的Hadoop fsck
金鳞踏雨
09-17 1079
我们知道fsck是用来检测hdfs上文件、block信息的，但是fsck输出的结果我们是否能看明白呢？ 参数解释： status：代表这次hdfs上block检测的结果 Total size: 代表/目录下文件总大小 Total dirs：代表检测的目录下总共有多少个目录 Total files：代表检测的目录下总共有多少文件 Total symlinks：代表检测的目录下有多少个符号连接 Total blocks(validated)：代表检测的目录下有多少个block块是有效的 Min
生产HDFS Block损坏恢复最佳实践
大门的博客
07-09 669
1.文件ruozedata.md 上传: [hadoop@10-9-15-140 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -mkdir /blockrecover 19/07/08 00:14:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... u...
hadoop生产环境数据块损坏修复方法
Chguai的博客
04-12 1927
hadoop生产环境数据块损坏修复方法 问题描述： 生产环境，早上报红 hdfs丢失块不良 命令：hdfs fsck -list-corruptfileblocks 检查出丢失快的文件 好多人都说删除文件，但是生产环境怎么能随便删除文件 解决方案： 然后执行修复命令： hdfs debug recoverLease [-path ] [-retries ] 例：hdfs debug recoverLease -path /hdsf/user/123.txt -retries 3 执行结果虽然报成功： rec
hadoop集群硬盘损坏_Hadoop集群datanode磁盘不均衡的解决方案
weixin_39927059的博客
12-19 304
一、引言：Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点，节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。二、问题：因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop...
高可用性的HDFS：Hadoop分布式文件系统深度实践
05-15
第1章 HDFS HA及解决方案 1.1 HDFS系统架构 1.2 HA定义 1.3 HDFS HA原因分析及应对措施 1.3.1 可靠性 1.3.2 可维护性 1.4 现有HDFS HA解决方案 1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 ...
hadoop集群硬盘损坏_Hadoop集群(万台规模)的磁盘故障自动处理
weixin_39990401的博客
12-19 1093
之前的系列文章讲述了无状态服务的自动维修。后来我们尝试将这套方案应用在有状态的Hadoop集群上，经过几个月的线上运行，也取得了不错的效果，本文将分享这个实践过程。梳理问题我们先调研了下Hadoop 集群情况：1、磁盘故障主要来自Hadoop 的hdfs 组件服务，hdfs是存储服务，对数据安全性要求很高，不能因为故障维修而丢失数据2、集群规模大，磁盘总数超过30万块盘，每周产生约1000块磁盘故...
hdfs损坏block定位以及修复
moyuan的博客
04-06 6269
在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。 fsck命令必须由HDFS超级用户来执行，普通用户无权限。 可通过hdfs fsck来查看该命令的帮助文档，如下图所示： 1.手工修复 hdfs debug 1）造一份数据上传到hdfs [hadoop@hadoop001 data]$ hadoop fs -put test.tx...
hbase和hadoop数据块损坏处理
11-05
介绍hbase和hadoop数据块损坏如何处理
大数据中数据节点硬盘坏了 怎么处理.zip
01-06
大数据中数据节点硬盘坏了 怎么处理.zip 大数据中数据节点硬盘坏了 怎么办
java中block_size_[解决]java.io.IOException: Cannot obtain block length for LocatedBlock
weixin_39769228的博客
03-02 209
近期由于运维重启集群导致Flume异常关闭，总结一下原因和处理方法：现象：查询Hive外部表失败，外部表数据有Flume写入错误日志：2017-11-01 00:15:37,077 WARN [main] org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hive (auth:SIMPLE)...
hadoop fsck / -openforwrite 命令解释
weixin_44646794的博客
11-29 701
hadoop命令解释
HDFS文件损坏是怎么回事？如何修复损坏的HDFS文件。
weixin_33854644的博客
06-26 3589
2019独角兽企业重金招聘Python工程师标准>>> ...
【图文详细 】HDFS面试题：hadoop出现文件块丢失怎么处理
谦卑t
11-30 1877
首先需要定位到哪的数据块丢失，可以通过查看日志进行检查和排除，找到文件块丢失的位置后，如果文件不是很重要可以直接删除，然后重新复制到集群上一份即可，如果删除不了，每一个集群都会有备份，需要恢复备份...
HDFS Block损坏的解决方式与思考
呼呼的小窝
09-09 1493
背景&现象 断电导致HDFS服务不正常，并显示块损坏 恢复步骤 检查HDFS系统文件健康 $>hdfs fsck / 注：通过web ui也可以进行查看 检查是对应的哪些block发生了损坏 $>hdfs fsck -list-corruptfileblocks 出来的结果是损坏的block及对应的file所在的路径 生产场景分析 业务场景如下：MySQL ----同步数据--...
清理hadoop集群有问题的块（CORRUPT block）
The Big Data Way
01-02 777
环境： hadoop 0.20 3u2   root下执行命令： sudo -u hdfs hadoop fsck -delete   再次执行下面检查命令就没问题了 sudo -u hdfs hadoop fsck /   -- heipark    
异常断电导致HDFS文件块丢失，影响HBASE数据的问题处理
Turk的专栏
04-06 4174
这几天一直看到HDFS提示文件块丢失的异常信息，也一直没有去关注，认为其他都正常。但是翻查HBASE入库日志的时候，发现了HBASE在提示入库的异常信息。联想到HDFS的块丢失问题，所以决定仔细检查一下，一查不得了，果然文件块丢失的问题影响还很大。很多数据都无法入库了。 通过命令检查HDFS的丢失文件块 hdfs fsck / -list-corruptfileblocks 发现
hadoop-env.cmd文件 打不开
最新发布
03-16
3. 文件损坏：如果文件已损坏，请尝试重新下载或从备份中恢复该文件。 4. 编码问题：如果文件编码不正确，可能会导致无法打开文件。请确保文件编码与系统编码一致。 如果以上方法都无法解决问题，请尝试在论坛或...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值