HDFS socket timeout时间设置

最新推荐文章于 2022-08-17 11:28:14 发布
最新推荐文章于 2022-08-17 11:28:14 发布
阅读量7.5k 收藏 3
点赞数
分类专栏： hadoop，hdfs 文章标签： hdfs socketTimeout
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/threewaterxzm/article/details/73087928
版权 
现有问题：HDFS在断网测试时，客户端向datanode写会中断一段时间，是因为有一个socket timeout的时间，过了这个timeout时间之后，客户端才会继续往上写。
在现生产环境中，我们有时候不需要太长的超时时间，此时就需自己手动去设置这个超时时间，通过查看源代码发现，hdfs在DFSClient.java文件中设置了写超时和读超时的时间，代码如下：



                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  三个水
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
在大并发写时，HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决

				
			

			

				

					zhaokunwu的专栏
				

				

					03-09
					
					2万+
					
				

			

		

		

			
				
异常日志：

2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception  for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000 millis

			
		

	



                

              
                



	

		

			

				
					
dfs.client.socket-timeout参数

				
			

			

				

					sx157559322的博客
				

				

					07-07
					
					834
					
				

			

		

		

			
				
“梦想感到一股清凉在夏日黄昏”背景说明在真正实验了解之前,这个参数一直认为是客户端的参数,只需要在客户端配置即可,事实也是如此。为什么还要探究呢？是因为今天客户那边提问了但是没有较具说服力的证据去证明。在生产环境中,业务方用户明明设置了这个参数,在DataNode日志里面还是显示60s超时。异常如下截图为了更加具有说服力去证明它是客户端生效的,这里不仅参考了社区版的hadoop3.0.0源码,也实...

			
		

	



                


  
              

                


	

		

			

				
					
【Hadoop】Hadoop DataNode节点超时时间设置

				
			

			

				

					weixin_34232363的博客
				

				

					09-13
					
					237
					
				

			

		

		

			
				
hadoop datanode节点超时时间设置
datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为：	timeout  = 2 * heartbeat.recheck.interva...

			
		

	





	

		

			

				
					
DFSClient端SocketTimeoutException异常的处理

				
			

			

				

					The Big Data Way
				

				

					04-13
					
					1436
					
				

			

		

		

			
				
Failed to connect to /182.x.x.x:50010, add to deadNodes and continue
java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.Socke...

			
		

	



		

			
		



	

		

			

				
					
HBase+HDFS出现的SocketTimeoutException错误

				
			

			

				

					江河万川
				

				

					08-27
					
					7395
					
				

			

		

		

			
				
HBase的SocketTimeoutException错误，这个是在HBase子节点中时常报的错误，如图：


       但是却没有影响集群运行，在网上搜集了很多资料，一直觉得这也是hdfs端错误造成的，查看hadoop中datanode子节点日志，意外发现这里面时常也会出现：


       查看了网上很多说明，最终都归结到dfs.socket.timeout这个配置项中来了

			
		

	





	

		

			

				
					
java控制 hdfs client 客户端连接重试次数和超时时间

				
			

			

				

					qq_23747281的博客
				

				

					08-17
					
					1122
					
				

			

		

		

			
				
java设置hdfs客户端连接超时时间和次数

			
		

	





	

		

			

				
					
HDFS掉线时限参数设置

					
热门推荐

				
			

			

				

					Ele_sorriu的博客
				

				

					10-14
					
					2万+
					
				

			

		

		

			
				
掉线时限参数设置

datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为：

timeout  = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval。


而默认的dfs.namenode.heart

			
		

	





	

		

			

				
					
Hadoop集群写数据异常--timeout while waiting for channel to be ready for write

				
			

			

				

					大数据之路
				

				

					07-05
					
					2382
					
				

			

		

		

			
				
今天kylin写数据到HBase到HDFS是报错：
timeout while waiting for channel to be ready for write
具体异常如下：
2019-07-05 11:18:10,862 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.146...

			
		

	





	

		

			

				
					
centOS7.0 下配置Hadoop集群,Slave1报错：failed on socket timeout exception: java.net.NoRouteToHostException

				
			

			

				

					u012248381的专栏
				

				

					09-29
					
					4622
					
				

			

		

		

			
				

Hadoop版本：2.5.0
在配置Hadoop集群时，在Master上 启动目录/usr/hadoop/sbin/下的./start-all.sh后，在Master主机上
[hadoop@Master sbin]$ ./start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.s

			
		

	





	

		

			

				
					
dfs.datanode.socket.write.timeout

					
最新发布

				
			

			

				

					07-13
				

			

		

		

			
				
dfs.datanode.socket.write.timeout是Hadoop的一个配置参数，用于设置DataNode在写入数据时的超时时间。  DataNode是Hadoop集群中存储和管理数据的节点，它负责接收来自客户端或其他DataNode的数据写入请求，并将...

			
		

	





	

		

			

				
					
hadoop 二次开发DatanodeWriteTimeout设置

				
			

			

				

					weixin_43705952的博客
				

				

					08-27
					
					146
					
				

			

		

		

			
				
int getDatanodeWriteTimeout(int numNodes) {
        return this.dfsClientConf.confTime > 0 ? this.dfsClientConf.confTime + 5000 * numNodes : 0;
    }

    int getDatanodeReadTimeout(int numNodes) {
        return this.dfsClientConf.socketTimeout > 0 

			
		

	





	

		

			

				
					
解决:使用java连接Fastdfs,上传文件时报:SocketTimeOutException的问题

				
			

			

				

					weixin_46246967的博客
				

				

					09-06
					
					204
					
				

			

		

		

			
				
解决:使用java连接Fastdfs,上传文件时报:SocketTimeOutException的问题

			
		

	





	

		

			

				
					
修复 py3Fdfs因 socket timeout导致下载失败的问题

				
			

			

				

					Daphnis的博客
				

				

					07-07
					
					910
					
				

			

		

		

			
				
背景
笔者在使用 pypi.org提供的 FastDFS Python客户端：py3Fdfs-2.2.0.tar.gz时，发现：
下载文件时偶尔报错 socket timeout，随即文件下载失败

因苦于 2.2.0已经是官网最新版本，无奈只能自己动手修复问题
—————————————————————————————————
说明
通过调试发现下载文件失败的原因在下面这段代码：
def tcp_recv_file(conn, local_filename, file_size, buffer_size=

			
		

	





	

		

			

				
					
如何修改Namenode侦测错误Datanode的时间

				
			

			

				

					sunlimiao的专栏
				

				

					03-06
					
					819
					
				

			

		

		

			
				
A question was asked of me recently, on how to force the namenode to detect failed datanodes more quickly.

This is very useful when testing, and can be quite risky on busy clusters.
In hadoop 19,

			
		

	





	

		

			

				
					
Hadoop 日常运维中的一些问题汇总整理

				
			

			

				

					星月情缘的博客
				

				

					07-02
					
					1643
					
				

			

		

		

			
				
对于运维需要时刻保证服务的稳定和高可用。以下是一些对Hadoop群集运维过程中遇到的一些问题总结。有包含到大家遇到的可以参考。

  1. 问题1

在集群执行hive脚本时，hive.log报错如下

java.lang.InterruptedException

解决办法：

原因是因为线程在等待过程中长期获取不到资源被终止， 可以通过修改下面的配置进行优化：

dfs...

			
		

	





	

		

			

				
					
HDFS 中常见的Timeout

				
			

			

				

					weixin_34342905的博客
				

				

					03-04
					
					1189
					
				

			

		

		

			
				
前段时间遇到HDFS的各种超时，这里总结下遇到的超时：IPC1.IPC connect timeout:在Client端setupConnection设置，2.0.3之前是20s，之后是可配置ipc.client.connect.timeout2.IPC max idle time：ipc.client.connection.maxidletime设置，默认20s，若在20s...

			
		

	





	

		

			

				
					
CDH性能优化（参数配置）

				
			

			

				

					Maynor的博客 
				

				

					05-09
					
					1633
					
				

			

		

		

			
				
CDH常用性能优化

			
		

	





	

		

			

				
					
在执行hdfs的fsck时超时Read timed out

				
			

			

				

					u010025966的博客
				

				

					05-18
					
					1967
					
				

			

		

		

			
				
hdfs fsck timeout问题处理
Exception in thread "main" java.net.SocketTimeoutException: Read timed out
        at java.net.SocketInputStream.socketRead0(Native Method)
        at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
        at java.n

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值