【图文详细 】HDFS面试题：hadoop出现文件块丢失怎么处理

最新推荐文章于 2023-04-04 11:53:24 发布
最新推荐文章于 2023-04-04 11:53:24 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： HDFS面试题 文章标签： HDFS面试题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42246689/article/details/84642735
版权

首先需要定位到哪的数据块丢失，可以通过查看日志进行检查和排除，找到文件块丢失的位置后，如果文件不是很重要可以直接删除，然后重新复制到集群上一份即可，如果删除不了，每一个集群都会有备份，需要恢复备份

谦卑t
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深入理解HDFS：Hadoop分布式文件系统
02-24
在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于NFS中，文件是存储在单机上，因此无法提供可靠性保证，当很多客户端同时访问NFSServer时，很容易造成服务器压力，造成性能瓶颈。另外如果要对NFS中的文件中进行操作，需要首先同步到本地，这些修改在同步到服务端之前，其他客户端是不可见的。某种程度上，NFS不是一种典型的分布式系统，虽然
【hadoop】HDFS块修复
lsr40的博客
03-25 5251
背景 HDFS场景下，有时候某些异常会导致丢失文件块！这时候，我们如何处理这些文件块，或者说这些文件块是否还有救？ 丢文件块是一种统一的说法，实际上是两种情况，一个是Corrupt blocks，一个是Missing replicas 先说个背景知识：当我上传一个文件到HDFS，这个文件在HDFS上看得到，也可以正常使用，实际上在磁盘上会存两种类型的文件 举例： 1、blk_1073743119 2、blk_1073743119_2295.meta 第一个文件就是实际上的数据，如果你的文件是文.
查看hdfs的操作日志
十二少胭脂扣
07-06 2675
查看hdfs操作日志
集群间使用hadoop distcp同步数据时块丢失的分析过程
无知是恶
04-04 520
记录一次集群间使用hadoop自带的distcp同步数据时遇到的问题，结论在最后。
【大数据】记一次hadoop集群missing block问题排查和数据恢复
如切如磋，如琢如磨，臻于至善。
02-24 2320
记一次 Hadoop 集群 missing block 问题解决及排查思路，集群环境总共有2个NN节点，3个JN节点，40个DN节点，基于hadoop-3.3.1的版本。集群采用的双副本，未使用ec纠删码。因为出现了missing block块高于namenode安全模式启动的阈值，导致namenode起来一直处于安全模式。
关于HDFS元数据块丢失解决办法
lukabruce的博客
01-31 8006
缘由： 由于失误，误将hadoop.tmp.dir指定文件夹下的filecache文件删除了，由此导致存储在hdfs集群的元数据丢失，造成hadoop集群启动之后一直处于安全模式开启状态。 //查询Hadoop集群安全模式状态 [hadoop@hadoop01 ~]$hdfs dfsadmin -safemode get //开启Hadoop集群安全模式状态 [hadoop@hadoop0...
Hadoop ：实践环节–故意造成数据块丢失
热门推荐
晨雪无痕
01-21 1万+
使用以下步骤连续杀死3个DataNode： 使用下列命令重启所有节点： $ start-all.sh 等到Hadoop的 “dfsadmin –report”命令显示有4个活跃节点： 把测试文件的新副本file1.new放到HDFS上： $ Hadoop fs -put file1.data file1.new 登录到集群中的3台主机并杀死每台主机上的DataNode进
hadoop之hdfs生产数据块损坏修复方法
luo981695830的博客
11-28 3378
hadoop之hdfs生产数据块损坏修复方法
数据查询和业务流分开_复盘领英Hadoop数据丢失事故，我们得到的血泪教训
weixin_39606003的博客
11-21 114
作者 | Sandhya Ramu，Vasanth Rajamani 译者 | 核子可乐 策划 | 蔡芳芳 复盘在 LinkedIn 发生的数据丢失事件，我们认识到：对企业而言，失败往往比成功更具有启发性。其次，如果团队行动太快，又无法以完全透明的方式处理问题，那么失败所带来的影响有可能长期困扰团队。 我们发生了数据丢失的严重事件：在部分机架中，约有 2...
hadoop fsck命令详解
qq_654603797
03-19 652
hadoopfsck用这个命令可以检查文件系统的健康状况。 Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] <path>检查这个目录中的文件是否完整 -move破损的文件移至/lost+found目录 -delete...
Hadoop面试题总结（二）——HDFS
01-07
1、 HDFS 中的 block 默认...  HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。   思考：为什么块的大小不能设置的太
高可用性的HDFS：Hadoop分布式文件系统深度实践
05-15
第1章 HDFS HA及解决方案 1.1 HDFS系统架构 1.2 HA定义 1.3 HDFS HA原因分析及应对措施 1.3.1 可靠性 1.3.2 可维护性 1.4 现有HDFS HA解决方案 1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 ...
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
01-09
报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉； 查看DataNode是否启动；...
【图文详细 】HDFS面试题：当小文件数量过多时，如何合并小文件
谦卑t
11-29 4061
当每个小文件数据量比较小的时候，可以通过命令的方式进行小文件的合并如： hadoop fs -cat hdfs://cdh5/tmp/lxw1234/*.txt | hadoop fs -appendToFile - hdfs://cdh5/tmp/hdfs_largefile.txt，当数据量比较大的时候建议使用MR进行小文件的合并...
【图文详细 】HDFS面试题：用命令显示所有datanode的健康状态
谦卑t
11-30 3279
hadoop dfsadmin -report
【图文详细 】HDFS面试题：三个 datanode 当有一个 datanode 出现错误会怎样
谦卑t
11-29 2725
缓存jar包到执行任务的节点的classpath中， 缓存普通文件到task运行节点的classpath中 环形缓存区，map阶段后会往本地溢写文件，他们之间会有一个环形缓存区，可以提高效率...
【图文详细 】HDFS面试题：hadoop的守护线程以及Namenode的职责是什么
谦卑t
11-30 2663
五个守护进程： SecondaryNameNode ResourceManager NodeManager NameNode DataNode Namenode：主节点，存储文件的元数据（文件名，文件目录结构，文件属性——生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。周期性的接受心跳和块的状态报告信息（包含该DataNode上所有数据块的列表） 若接...
【图文详细 】HDFS面试题：hdfs里的 edits和 fsimage作用
谦卑t
11-29 2132
1）、fsimage文件其实是Hadoop文件系统元数据的一个永久性的检查点，其中包含Hadoop文件系统中的所有目录和文件idnode的序列化信息； 2）、edits文件存放的是Hadoop文件系统的所有更新操作的路径，文件系统客户端执行的所以写操作首先会被记录到edits文件中。 　　 fsimage和edits文件都是经过序列化的，在NameNode启动的时候，它会将fsimage文件...
Could not find artifact error:hadoop-hdfs:pom:3.3.0 in central
最新发布
10-29
这个错误提示表明Maven无法在中央仓库中找到hadoop-hdfs版本为3.3.0的pom文件。可能的原因是该版本的pom文件未被上传到中央仓库，或者您的Maven配置中没有正确指定其他仓库。您可以尝试在pom.xml文件中添加其他仓库的配置，或者检查该版本的pom文件是否已经被上传到中央仓库。如果您确定该版本的pom文件已经存在于中央仓库中，您可以尝试清除本地Maven仓库并重新构建项目。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值