【HDFS】排查问题记录：DataNode报大量WARN日志：Slow manageWriterOsCache took xxxms (threshold=300ms)

已于 2022-12-28 21:32:44 修改
阅读量612 收藏
点赞数
分类专栏： HDFS全方位实战 文章标签： hdfs hadoop 大数据
于 2022-12-27 10:10:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiguafu/article/details/128447512
版权
HDFS全方位实战 专栏收录该内容
171 篇文章 147 订阅 ¥29.90 ¥99.00
订阅专栏
本文详细记录了在HDFS中遇到DataNode大量WARN日志`Slow manageWriterOsCache`的问题排查过程。通过源码分析及监控数据，发现问题是由于10副本设置及Balancer执行导致的。分析了磁盘性能、网络带宽、I/O调度算法等因素，并提出了可能的优化方向，包括优化随机读写、选择合适的I/O调度器和测试posix_fadvise的系统调用行为。
摘要由CSDN通过智能技术生成

Client不设置cachingStrategy相关的配置时，在DataNode日志里出现大量的如下日志：

2022-12-26 16:16:34,166 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Slow manageWriterOsCache took 306ms (threshold=300ms), volume=file:/data6/hadoop/hdfs/datanode/, blockId=1214890778
2022-12-26 16:16:34,847 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Slow manageWriterOsCache took 980ms (threshold=300ms), volume=file:/data6/hadoop/hdfs/datanode/, blockId=1267281592
2022-12-26 16:16:37,292 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Slow manageWriterOsCache took 380ms (threshold=300ms), volume=file:/data6/hadoop/hdfs/datanode/, blockId=1214890778
2022-12-26 16:16:39,446 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Slow manageWriterOsCache took 534ms (threshold=300ms), volume=file:/data6/hadoop/hdfs/datanode/, blockId=1214890778

定位到源码BlockReceiver#manageWriterOsCache里：


                

                
                
        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  叹了口丶气
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
记一次集群job运行缓慢问题

				
			

			

				

					hadoopp的博客
				

				

					08-30
					
					4679
					
				

			

		

		

			
				
业务人员反馈部分job运行缓慢，于是进行了统计观察，resource manager页面观察到如下现象

1.作业比以前运行的时间变长

具体大概是个别job平时1小时搞定，偶尔会出现2小时左右，集群计算资源也没打满状态。



2.Job的日志中有以下WARN的信息

2018-04-18 00:16:11,632 WARN [ResponseProcessor for block BP-&l...

			
		

	



                

              
                



	

		

			

				
					
hdfs 的DataNode日志发现了 org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet...

				
			

			

				

					weixin_42608318的博客
				

				

					12-28
					
					421
					
				

			

		

		

			
				
这个日志消息通常表明在 DataNode 上有一个块接收器正在将数据写入镜像服务器，但写入速度很慢，超过了阈值(300毫秒)。这可能是由于以下原因之一造成的：

网络问题：镜像服务器和 DataNode 之间的网络可能出现问题，导致数据传输速度降低。

镜像服务器性能低下：如果镜像服务器的 CPU、内存或磁盘资源不足，可能会导致写入速度降低。

磁盘 I/O 问题：如果 DataNode 或镜像服...

			
		

	



                


  
              

                


	

		

			

				
					
Hadoop问题DataNode error （ERROR org.apache.hadoop.hdfs.server.datanode.DataNode）

				
			

			

				

					devilzy2656的专栏
				

				

					11-30
					
					2128
					
				

			

		

		

			
				
Hadoop问题DataNode error （ERROR org.apache.hadoop.hdfs.server.datanode.DataNode）
DataNode error 
 


2010-06-25 11:40:12,473 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode:
java.io.IOExcept

			
		

	





	

		

			

				
					
Hadoop-DataNode分析

				
			

			

				

					...
				

				

					04-06
					
					171
					
				

			

		

		

			
				

 
 
 
HDFS主要流程
客户端创建到namenode的文件与目录操作
客户端会调用FileSystem实现也就是DistributedFileSystem的mkdir()函数，之后DistributedFileSystem会通过IPC调用namenode的mkdir()
这个操作会持久化到日志中FSImage#saveFSImage()，之后返回
创建目录只是客户端和nam...

			
		

	



		

			
		



	

		

			

				
					
Hadoop2动态调整Log级别-以datanode的heartbeat log为例

				
			

			

				

					weixin_30265171的博客
				

				

					08-17
					
					213
					
				

			

		

		

			
				
　　在Hadoop中，有些log信息在正常情况下是不打印出来的。比如datanode发送heartbeat的日志。 
　　代码位于BPServiceActor#sendHeartBeat方法中，如下图： 
　　 
　　由于默认心跳间隔时间为3s，默认打印该日志的话，日志文件会很大。



一、使用命令

　　可以使用命令hadoop daemonlog来获取和修改指定类的Log...

			
		

	





	

		

			

				
					
启动hadoop  DataNode   出现问题

				
			

			

				

					qq_43359776的博客
				

				

					04-12
					
					835
					
				

			

		

		

			
				
2021-04-11 20:34:25,769 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService
java.io.EOFException: End of File Exception between local host is: "master/192.168.158.10"; destination host is: "localhost":9090; : java.io.EOFExcept

			
		

	





	

		

			

				
					
docker-hdfs-datanode:用于运行 hdfs 数据节点的 Docker 容器

				
			

			

				

					06-23
				

			

		

		

			
				
在 docker 容器中运行 hdfs 数据节点 暴露端口 TCP 50010 dfs.datanode.address 数据传输端口 TCP 50020 dfs.datanode.ipc.address ipc 服务器 TCP 50075 dfs.datanode.http.address http 服务器 TCP 50475 dfs....

			
		

	





	

		

			

				
					
大数据开发：HDFS数据节点与名称节点的通信机制.docx

				
			

			

				

					12-13
				

			

		

		

			
				
"大数据开发：HDFS数据节点与名称节点的通信机制"  大数据开发中，HDFS（Hadoop Distributed File System）作为分布式文件系统，提供了稳固的底层存储支持。HDFS的各个节点之间的通信机制是大数据开发的关键所在。...

			
		

	





	

		

			

				
					
HDFSEC：将纠删码技术融入HDFS

				
			

			

				

					01-29
				

			

		

		

			
				
在HDFS中，可靠性通过多副本的方式来实现，从而较低的存储利用率成为时下基于HDFS应用的主要问题之一。本文将详细介绍HDFS一个新的特性——Erasure Coding（EC），它在保证同等（或者更高）可靠性的情况下将存储利用...

			
		

	





	

		

			

				
					
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

				
			

			

				

					01-09
				

			

		

		

			
				
1、遇到问题 今天使用自己的电脑，使用外网操作阿里云服务器上的HDFS。 报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 ...

			
		

	





	

		

			

				
					
(15)hadoop 日志级别设置

				
			

			

				

					sun
				

				

					04-14
					
					2604
					
				

			

		

		

			
				
第一处是${HADOOP_HOME}/etc/hadoop/hadoop-env.sh，把INFO改为WARN即可：


启动脚本${HADOOP_HOME}/sbin/hadoop-daemon.sh，也需要这样改一下：
export HADOOP_ROOT_LOGGER=${HADOOP_ROOT_LOGGER:-"WARN,RFA"}

			
		

	





	

		

			

				
					
HDFS上传缓慢： INFO hdfs.DataStreamer: Slow ReadProcessor read fields for block

				
			

			

				

					光脚虾的博客
				

				

					12-10
					
					5244
					
				

			

		

		

			
				
问题描述
在往HDFS 上导数据时遇到的问题，文件大概有100G左右，总个数有100个
近两天往HDFS上传文件时发现，hdfs报这个告警后，上传就变的特别慢。但是可以正常上传，上传上去的文件大小无异常，只是传输很慢
报错内容删除了敏感信息
19/12/10 11:27:31 INFO hdfs.DataStreamer: Slow ReadProcessor read fields for bl...

			
		

	





	

		

			

				
					
bug宝典hadoop篇 org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <

				
			

			

				

					warrah 南极狼
				

				

					02-20
					
					2804
					
				

			

		

		

			
				
注意重新格式化后会出现这个问题 
2016-08-18 16:16:21,467 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /home/hadoop/platform/hadoop/hdfs/data/in_use.lock acquired by nodename 13157@dashuju173 
2016-08-18

			
		

	





	

		

			

				
					
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceID

				
			

			

				

					lxpbs8851的专栏
				

				

					11-23
					
					1万+
					
				

			

		

		

			
				
问题的产生：

今天遇到了一个问题 

我执行了 ./hadoop namenode -format 之后
启动hadoop:   ./start-all.sh   的时候
运行jps发现 datanode没有起来 但是 TaskTracker是正常启动的
然后我去datanode的错误日志里面发现的下面的问题：

2012-11-23 14:31:14,319 INFO org

			
		

	





	

		

			

				
					
记一次Hadoop集群数据上传缓慢案例分析

					
热门推荐

				
			

			

				

					卢说
				

				

					10-11
					
					2万+
					
				

			

		

		

			
				
本文为博主原创文章，转载需获取博主授权。

项目场景
手上管理的其中一个Hadoop集群，承接着大量的数据流量，一直以来运行平稳，最近突然发现集群有时会出现MR作业运行缓慢，put文件至HDFS偶发速度慢的问题，像大数据集群这种问题，有点疑难杂症的味道，本次也是经历了10多个小时的定位才真正把问题解决。
问题现象

使用客户端节点执行hdfs dfs -put文件上传至HDFS偶发慢，集群内部节点put文件也出现偶发速度慢；查看Hadoop集群相关监控指标未见异常；
业务反馈入库作业有积压，数据积压于上传.

			
		

	





	

		

			

				
					
org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs

				
			

			

				

					曹世超的专栏
				

				

					10-20
					
					3177
					
				

			

		

		

			
				
1、hadoop-root-datanode-master.log 中有如下错误： 
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in

导致datanode启动不了。 

原因:每次namenode format会重新创建一个n

			
		

	





	

		

			

				
					
【Hadoop故障处理】高可用（HA）环境DataNode问题

				
			

			

				

					weixin_30248399的博客
				

				

					06-11
					
					246
					
				

			

		

		

			
				
【故障背景】NameNode和DataNode进程正常运行，但是网页找不到DataNode，DataNode为空。各个节点机器之间可以ping同主机名。【日志排查】众多日志中找到如下关键点错误信息ERROR org.apache.hadoop.hdfs.server.datanode.DataNode:Initialization failed for Bloc...

			
		

	





	

		

			

				
					
从本地上传到hdfs上出现异常

				
			

			

				

					weixin_33854644的博客
				

				

					12-03
					
					264
					
				

			

		

		

			
				
hdfs dfs -put 从本地上传到hdfs上出现异常 




    与namenode 同台机器的datanode错误日志信息如下：

 2015-12-0309:54:03,083WARNorg.apache.hadoop.hdfs.server.datanode.DataNode:SlowBlockReceive...

			
		

	





	

		

			

				
					
HBase日志中报Slow ReadProcessor read fields

				
			

			

				

					数据源的港湾
				

				

					11-17
					
					1441
					
				

			

		

		

			
				
某环境中查看HBase日志中报Slow ReadProcessor read fields，查看相关解释说这个问题主要是由于hdfs引起的，因为hbase作为客户端向hdfs写入数据进行持久化，和hbase本身没有太大关系。至于是因为哪一部分的问题，可以用如下命令对datanode上的日志来分析一下：
egrep -o "Slow.*?(took|cost)" /path/to/current/datanode/log | sort | uniq -c

典型的输出为，
     23 hadoop-cmf

			
		

	





	

		

			

				
					
hdfs 的DataNode日志发现了 org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet to mirror took 1009ms (threshold=300ms) 是什么原因造成的

					
最新发布

				
			

			

				

					02-06
				

			

		

		

			
				
这个日志消息通常表明在 DataNode 上有一个块接收器正在将数据写入镜像服务器，但写入速度很慢，超过了阈值（300毫秒）。这可能是由于以下原因之一造成的：  1. 网络问题：镜像服务器和 DataNode 之间的网络可能出现...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
叹了口丶气

			
觉得有收获就支持一下吧~

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值