hadoop

最新推荐文章于 2022-07-01 10:14:26 发布
最新推荐文章于 2022-07-01 10:14:26 发布
阅读量425 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34226628/article/details/124162444
版权

任务报错信息：Caused by: java.io.IOException: Unable to close file because the last blockBP-xxxx:blk_xxxx does not have enough number of replicas.

 

通过查看hdfs日志分析，在任务执行对应时间点namenode rpc处理时长明显耗时增长

说明hdfs性能不足，在大量写入或者删除的场景下会导致该问题。

查看namenode的审计日志分析create和delete操作较之前多了几倍

解决办法：开启IBR特性，减少块上报频率，降低nn压力

dfs.namenode.file.close.num-committed-allowed 调整为1
dfs.blockreport.incremental.intervalMsec调整为1000

R&Y
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark报错处理系列之：HDFS Unable to close file because the last block BP-xx does not have enough number
zhengzaifeidelushang的博客
05-16 185
Spark报错处理系列之：HDFS Unable to close file because the last block BP-xx does not have enough number
hadoop3.3.4 winutils
12-18
Hadoop是大数据处理领域的重要框架，它以分布式计算模型为基础，提供高可靠性和高扩展性的数据存储和处理能力。在Windows环境下配置和运行Hadoop通常比在Linux上更为复杂，因为Hadoop最初是为Unix-like系统设计的。...
一次Namenode的RPC延迟故障排查引发的深入思考
Meepoljd的博客
05-26 1506
一次Namenode的RPC延迟故障排查引发的深入思考前言正文问题排查初步定位临时恢复定位可疑进程问题分析问题脚本分析问题原因分析代码分析 前言 12月1日，多个省份的HDFS集群出现NameNodeRPC延迟高的问题，当时通宵了一个晚上，模糊的确认是存在频繁的du或者count操作导致的，后来也确认这个操作的发起方是开发人员用python写的采集脚本，统计数据量用的，会执行du命令，这次故障感觉还是挺有意思的，记录一下。 正文 问题排查 初步定位 过程的截图并不是记得很全，能列多少列多少吧。12月1日晚上
Hadoop学习记录3--HDFS知识补充
weixin_45772744的博客
07-01 645
目录一. HDFS块的讲解【重点】1.1 HDFS的块1.2 HDFS的块大小1.3 块的相关参数设置1.4 块的存储位置二. HDFS的元数据【重点】2.1 映像文件fsimage2.2 日志文件edit​三、HDFS的工作机制【重点】3.1 开机启动Namenode过程3.1.1 非第一次启动集群的启动流程3.1.2 第一次启动集群的启动流程​3.1.3 小知识3.2 安全模式介绍 3.3 DataNode与NameNode通信(心跳机制)3.4 SecondayNamenode的工作机制(检查点机
NameNode与DataNode删除块逻辑分析
王小禾
07-22 2558
1.删除逻辑分析 1.删除文件NameNode入口 2.RedundancyMonitor监控线程 3.DataNode心跳及IBR 2.大量删除数据块的隐患及解决办法 1.背景 出现多次Unable to close file情况，具体如下。 Client： Caused by: java.io.IOException: Unable to close file because the last block does not have enough number of...
Hadoop配置项整理(hdfs-site.xml)
weixin_33713350的博客
12-26 1393
续上篇整理一下hdfs相关的配置项      name  value Description  dfs.default.chunk.view.size 32768 ...
论dfs.namenode.handler.count配置参数的总要性
Turk的专栏
03-28 9655
接早前一篇文章 一次Hadoop 奇异故障之旅 的问题说。 这篇文章的故障，虽然用分批启动DN节点的方法，避免了重启HDFS的出现的内存问题。但是治标不治本，风险依然是存在的。所以要从根本上根治这个疑难杂症，就要从其他参数配置着手。 最终，锁定一个参数配置dfs.namenode.handler.count。先来看看它的解释 *NameNode有一个工作线程池用来处理客户端的远程过程调用及...
docker配置hadoop
09-28
001
hadoop3.3.3-winutils
07-19
hadoop基于linux开发和布署运行，故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 在windows环境中需要配置 如何配置: 配置到运行环境当前目录...
hadoop-3.4.0.tar.gz
最新发布
04-22
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File ...
Hadoop3.1.3.rar
06-02
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它的核心设计是处理和存储大量数据的能力。这个名为"Hadoop3.1.3.rar"的压缩包文件包含了Hadoop 3.1.3版本的所有组件和相关文件，使得用户可以下载并进行...
hadoop集群运行时遇到Unable to close file because the last block does not have enough number of replicas
Lyx_h的博客
04-08 7425
1.问题描述 hql脚本夜间调度时部分表随机出现了 Unable to close file because the last block does not have enough number of replicas 的报错。 手动重跑后恢复正常。 2.查找原因 通过报错信息可以得知 最后一个block块没有足够的副本而不能关闭文件。 这说明了在某一时刻可能有任务大量读取blocks，耗费了过多...
hadoop 1000台集群优化经验---大数据面试
wangjunji34478的专栏
05-31 376
hdfs 是一个分布式系统，只要有足够的资源，可以扩容到上千台的集群，name node rpc queue time在持续的一周左右时间性能恶化。在极端环境下，出现一个rpc查询需要等待好几分钟。l
NameNode启动过程耗时详细剖析
zhangxiping
09-15 751
NameNode启动过程详细剖析 NameNode中几个关键的数据结构 FSImage Namenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中，每次保存fsimage之后到下次保存之间的所有hdfs操作，将会记录在editlog文件中，当editlog达到一定的大小（bytes，由fs.checkpoint.size参数定义）或从上次保存过后一定时间段过后（sec，由fs.checkpo...
HDFS巡检、监控、调优、排障
萌兔兔MMQ！！
03-25 5674
1、巡检 HDFS 为集群提供高可用性弹性存储服务，是集群的存储主体。 每日早晚巡检HDFS 服务，包括HDFS 服务可用性、存储使用率、datanode 是否有故障盘等。 1.1、HDFS 总体状态 ①HDFS 状态，如下的红色提示需要关注 ②HDFS 容量是否过阈值 1.2、HDFS UI 巡检 1.2.1、summary巡检 对应上图所示标号，逐一进行解释： （1）HDFS 总文件数：此数值代表着 HDFS 存储内有多少文件，该数值的警告阈值为 5000W （2）HDFS 总存储容量：此数值
flink提交文件出现java.io.IOException:unable to close file because the last block does not have enough numb...
weixin_30496431的博客
05-14 1500
当提交已经打包好的jar包时候,控制台出现以下的错误. 转载于:https://www.cnblogs.com/alexzhang92/p/10861359.html
hadoop集群运维(updating)
大怀特的博客
10-13 675
Unable to close file because the last block BP-1820686335-10.201.48.27-144816918 ava.io.IOException: Unable to close file because the last block BP-1820686335-10.201.48.27-1448169181587:blk_1850383542_781036567 does not have enough number of replicas. ..
唯品会 1000+ 台 Hadoop 集群优化经验
过往记忆大数据
01-09 621
性能挑战01HDFS 是一个分布式系统，只要有足够的资源，可以扩容上千个节点支持100PB以上的集群。我们发现Hadoop集群升级（2.5.0-cdh5.3.2-->2.6.0-c...
hadoop分布计算配置.pptx
10-21
"这是关于Hadoop分布式计算配置的培训材料，主要涵盖了Hadoop集群的基本配置，包括`core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`的设置，以及masters和slaves文件的配置，还有集群的启动和验证过程。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值