HDFS异常：last block does not have enough number of replicas

最新推荐文章于 2023-01-25 20:54:45 发布
最新推荐文章于 2023-01-25 20:54:45 发布
阅读量1.3k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43688472/article/details/114931772
版权

HDFS异常：last block does not have enough number of replicas

【问题解决办法】

可以通过调整参数dfs.client.block.write.locateFollowingBlock.retries的值来增加retry的次数，可以将值设置为6，那么中间睡眠等待的时间为400ms、800ms、1600ms、3200ms、6400ms、12800ms，也就是说close函数最多要50.8秒才能返回。

中软不建议修改该参数：

但是该dfs.client.block.write.locateFollowingBlock.retries 在开源配置中不开放，调整参数也只能规避问题，若CPU负荷很大的情况，依然会存在该问题。

建议降低任务并发量或者控制cpu使用率来减轻网络的传输，使得DN能顺利向NN汇报block情况。

问题结论：

减轻系统负载。集群发生的时候负载很重，CPU的32个核（100%）全部分配跑MR认为了，至少要留20%的CPU

墨卿风竹
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
01-09
1、遇到问题 今天使用自己的电脑，使用外网操作阿里云服务器上的HDFS。 报错  org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉； 查看DataNode是否启动； 有些数据块是损坏了，可以命令查看 阿里云防火墙已经关闭了 使用 jps 查看本地本地 datanode 启动没问题 使用 hadoop fsck /weblog/log.
does not have enough number of replicas
zhuzhen123zhuzhen的博客
03-12 3743
HIVE sql报错 org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.io.IOException: Unable to close file because the last blockB:blk_17 does not have enough number of replicas. 问题原因： 大量删除文件导致文件写入较慢，进一步造成dn执行nn指令的耗时过长，长时间无法上报IBR请求至nn 1． 当前规避办法： 开启IBR参数，
深入理解HDFS：Hadoop分布式文件系统
02-24
在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于NFS中，文件是存储在单机上，因此无法提供可靠性保证，当很多客户端同时访问NFSServer时，很容易造成服务器压力，造成性能瓶颈。另外如果要对NFS中的文件中进行操作，需要首先同步到本地，这些修改在同步到服务端之前，其他客户端是不可见的。某种程度上，NFS不是一种典型的分布式系统，虽然
hdfs：HDFS的本机go客户端
02-03
Go的HDFS 这是hdfs的本地golang客户端。 它使用协议缓冲区API直接连接到namenode。 它尝试通过在可能的情况下对stdlib os包进行os.FileInfo来使其成为惯用语言，并从中实现接口，包括os.FileInfo和os.PathError 。 这是实际的样子： client , _ := hdfs . New ( "namenode:8020" ) file , _ := client . Open ( "/mobydick.txt" ) buf := make ([] byte , 59 ) file . ReadAt ( buf , 48847 ) fmt . Println ( string ( buf )) // => Abominable are the tumblers into which he pours his poison. 有关完整的文档，请查阅 。 hdfs二进制 除库外，此存储库还包含HDFS的命令行客户端。 像库一样，它的主要目的是通过启用您喜欢的unix动词来实现惯用语： $ hdfs --help Usage:
hdfs3:libhdfs3的包装器，可与Python的HDFS交互
05-22
hdfs3 该项目未在开发中 Pyarrow的JNI 是成熟且稳定的。 它还具有较少的配置和各种安全设置问题，并且不需要复杂的libhdfs3构建过程。 因此，建议所有对hdfs3有麻烦的用户尝试使用pyarrow。 旧的自述文件 hdfs3是libhdfs3的轻量级Python包装器， 是与Hadoop File System（HDFS）进行交互的本机C / C ++库。 查看有关hdfs3的。
最后一个 block 没有足够的副本数，文件关闭失败
Mrknowledge
11-18 3772
堆栈信息： java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:2528...
DFSClient技术内幕(写入数据——管道的建立)
u013494310的专栏
02-15 1940
以下是本人研究源代码成果, 此文僅献给我和我的小伙伴们，不足之处，欢迎斧正-------------------------------------致谢道格等人！ 注：hadoop版本0.20.2,有童鞋表示看代码头晕，所以本文采用纯文字描述，哥还特意为你们把字体调调颜色噢 ^ o ^ 上一篇文章，我们一起讨论了写入数据的准备过程，创建OutputStream下面我们一起讨论关于数据写入的
【转】【HDFS】hive任务报HDFS异常：last block does not have enough number of replicas
xieganyu3460的博客
10-15 9190
HIVE运行查询脚本时报错，last block does not have enough number of replicas： 1 2018-10-15 2018-07-17 2 2018-10-15 10:00:01 3 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; s...
【hive】hive任务报错does not have enough number of replicas.
zx1414iang的博客
02-21 3158
blk_xx does not have enough number of replicas
HDFS之Replica Placement Policy
孤独的博客
08-14 478
Replica Placement: The First Baby Steps The placement of replicas is critical to HDFS reliability and performance. Optimizing replica placement distinguishes HDFS from most other distributed file syst...
Hadoop学习总结之二：HDFS读写过程解析
forfuture1978的专栏
11-10 4691
一、文件的打开 1.1、客户端 HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为： public FSDataInputStream open(Path f, int bufferSize) throws IOException {   return new DFSClient.DFSDataInputStream(     
hadoop配置文件详解系列（二）-hdfs-site.xml篇
weixin_34191845的博客
05-07 1421
上一篇介绍了core-site.xml的配置，本篇继续介绍hdfs-site.xml的配置。 属性名称 属性值 描述 hadoop.hdfs.configuration.version 1 配置文件的版本 dfs.namenode.rpc-address 　 处理所有客户端请求的RPC地址，若在HA场景中，可能有多个nameno...
0589-Cloudera Manager6.2的新功能
Hadoop_SC的博客
11-08 913
1 虚拟私有集群 - 存储和计算分离 虚拟私有集群(Virtual Private Cluster)使用Cloudera共享数据体验（Shared Data Experience，SDX）来简化on-premise和on-cloud的应用程序的部署，并使运行在不同集群中的工作负载能够安全，灵活地共享数据。 CDH6.2中提供了一种新类型的集群，称为计算集群(Compute cluster)。计算集...
HDFS用了这个优化后，性能直接翻倍
hncscwc的博客
01-15 1922
【背景】前段时间在HDFS的dn节点规模1000+的环境中，并且有1亿block数据量的情况下， 进行大量并发写文件测试时，发现部分客户端写异常并导致最终仅写入了部分数据，本文就该问题进行...
【Flink】FLink 使用 RocksDB 报错 hadoop not have enough number of replicas
九师兄
01-25 520
【Flink】FLink 使用 RocksDB 报错 hadoop not have enough number of replicas
【异常】Spark写入HBase时写入DataNode失败：dfs.client.block.write.replace-datanode-on-failure.policy
活的洒脱怪我咯的专栏
12-25 6475
问题描述： 在SparkStreaming长时间写入HBase的时候，会下面的异常问题： 2017-12-24 23:20:34 [ SparkListenerBus:540107357 ] - [ ERROR ] Listener EventLoggingListener threw an exception java.io.IOException: Failed to replace
hadoop集群运行时遇到Unable to close file because the last block does not have enough number of replicas
Lyx_h的博客
04-08 7199
1.问题描述 hql脚本夜间调度时部分表随机出现了 Unable to close file because the last block does not have enough number of replicas 的报错。 手动重跑后恢复正常。 2.查找原因 通过报错信息可以得知 最后一个block块没有足够的副本而不能关闭文件。 这说明了在某一时刻可能有任务大量读取blocks，耗费了过多...
Unable to close file because the last block does not have enough number of replicas报错分析
热门推荐
u013289115的博客
03-31 1万+
一、问题 跑spark或hive脚本报错如下： [INFO] 2020-03-31 11:06:03 -> java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutpu...
在Linux下的hdfs客户端编写,写操作(客户端) - HDFS的文件操作流_服务器应用_Linux公社-Linux系统门户网站...
weixin_39935257的博客
05-13 174
在前面的博文中我主要从客户端的角度讲述了HDFS文件写操作的工作流程，但是关于客户端是如何把数据块传送到数据节点，同时数据节点又是如何来接受来自客户端的数据块呢？这就是本文将要讨论的。上一次在DataStreamer线程，那么现在我们就来具体的看看客户端是如何传输数据的。先来看看底层文件写入流DFSOutputSream的核心代码：/*** @param b 要写入文...
数据迁移报错Unable to close file because the last block does not have enough number of replicas.l
最新发布
05-11
这个错误提示意味着最后一个数据块没有足够数量的副本，导致无法关闭文件。这通常是由于某些节点宕机或网络问题导致的。解决此问题的方法是增加数据块的副本数，以确保即使某些节点宕机，也能保证数据不会丢失。可以使用以下命令来增加数据块的副本数： ``` hdfs dfs -setrep -w <numReplicas> <hdfs_file_path> ``` 其中，`<numReplicas>`是要设置的副本数，`<hdfs_file_path>`是要设置的HDFS文件路径。例如，要将文件 `/user/hadoop/data.txt` 的副本数增加到 3，可以使用以下命令： ``` hdfs dfs -setrep -w 3 /user/hadoop/data.txt ``` 执行此命令后，HDFS将尝试将文件中所有数据块的副本数增加到 3。请注意，这可能需要一些时间，具体时间取决于文件大小和系统负载。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值