DataXceiver error processing unknown operation src: /127.0.0.1:36479 dst: /127.0.0.1:50010处理

最新推荐文章于 2024-08-17 16:08:48 发布
最新推荐文章于 2024-08-17 16:08:48 发布
阅读量2.6w 收藏
点赞数
分类专栏： ● Hadoop --------【Hadoop线上异常】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oDaiLiDong/article/details/50345095
版权


异常信息如下：


 2015-12-09 17:39:20,310 ERROR datanode.DataNode (DataXceiver.java:run(278)) - hadoop07:50010:DataXceiver error processing

unknown operation  src: /127.0.0.1:36479 dst: /127.0.0.1:50010
java.io.EOFException
        at java.io.DataInputStream.readShort(DataInputStream.java:315)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.readOp(Receiver.java:58)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:227)

        at java.lang.Thread.run(Thread.java:745) 


原因：

Ambari 每分钟会向datanode发送"ping"连接一下去确保datanode是正常工作的.否则它会触发alert。但是datanode并没有处理空内容的逻辑,所以直接异常了

 

解决办法：
 

  这个可以忽略，或者使用 https://issues.apache.org/jira/browse/HDFS-8738里的patch
 

 

 


 



                

        

        

    

  


    

      

        

            

              
                
                  代立冬
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
JDBCTemplate 报错 create connection SQLException,url:jdbc:mysql://127.0.0.1:3306/wsj,errorCode1045

				
			

			

				

					weixin_54820580的博客
				

				

					06-08
					
					3274
					
				

			

		

		

			
				
JDBCTemplate 报错 create connection SQLException,url:jdbc:mysql://127.0.0.1:3306/wsj,errorCode1045

			
		

	



                

              
                



	

		

			

				
					
pycharm报错 Error: failed to send plot to http://127.0.0.1:63342及Connection Refused Error: [Errno 111]

				
			

			

				

					qq_45122568的博客
				

				

					05-31
					
					5082
					
				

			

		

		

			
				
记录一个错误，在pycharm运行demo的时候，出现这个错误，之前运行是好的，今天突然报错了。
换用maboxterm运行是可以的（可以出图），但是pycharm不行。其实demo已经跑完了，只是没法显示图片，图片从服务器传回pycharm的时候连接出现了问题。
这里记录汇总一下我尝试过的所有方法。

			
		

	



                


  
              

                


	

		

			

				
					
DataNode 日志异常--- “DataXceiver error processing unknown operation”

				
			

			

				

					呼吸
				

				

					03-15
					
					719
					
				

			

		

		

			
				
因为datanode并没有处理空内容的逻辑,发生这种情况时，DataNode会遇到意外的EOF，并记录完整的栈跟踪。DataNode 日志出现以下异常“ DataXceiver error processing unknown operation src: /127.0.0.1:xx dst: /127.0.0.1:50010”这个可以忽略，服务是正常的，或者使用 https://issues.apache.org/jira/browse/HDFS-9572里的patch。

			
		

	





	

		

			

				
					
在Centos7中启动nginx服务失败

					
最新发布

				
			

			

				

					qq_45987997的博客
				

				

					08-17
					
					175
					
				

			

		

		

			
				
也使用cat /var/log/nginx/error.log查看了错误信息，上面显示一些权限错误问题，但是更改权限好像也没用，最后使用了。试过了非常多的办法：检查不是端口冲突，不是文件配置问题。

			
		

	



		

			
		



	

		

			

				
					
hdfs-bug:DataXceiver error processing WRITE_BLOCK operation

				
			

			

				

					top8488.top大数据
				

				

					10-19
					
					1878
					
				

			

		

		

			
				
报错信息以及截图如下：




calculation112.aggrx:50010:DataXceiver error processing WRITE_BLOCK operation  src: /10.1.1.116:36274 dst: /10.1.1.112:50010
java.io.IOException: Premature EOF from inputStream
    at org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:203)

			
		

	





	

		

			

				
					
hadoop:DataXceiver error processing WRITE_BLOCK operation

				
			

			

				

					ZGKHH的博客
				

				

					12-26
					
					815
					
				

			

		

		

			
				
Hive运行中报错，解决详情

			
		

	





	

		

			

				
					
FTP-document.rar_fit//127.0.0.1:5050_ftb 127.0.0.1 2121_ftb:127.

				
			

			

				

					09-14
				

			

		

		

			
				
IP地址127.0.0.1 端口21  用户名admin 密码12345

			
		

	





	

		

			

				
					
Unable to determine SOCKS version from socks://127.0.0.1:7890/ 解决过程记录（pip install时）

				
			

			

				

					DSZhappy的博客
				

				

					10-14
					
					2569
					
				

			

		

		

			
				
参考：https://github.com/laramies/theHarvester/issues/56
法一：永久更改proxy
更改/etc/environment文件：
在文件中增加：
all_proxy=socks5://127.0.0.1:7890/
ALL_PROXY=socks5://127.0.0.1:7890/

重启电脑
DONE!
法二：临时更改
$ unset all_proxy && unset ALL_PROXY
$ export all_proxy="sock

			
		

	





	

		

			

				
					
Mongodb报错：connecting to: mongodb://127.0.0.1:27017/?compressors=disabled&gssapiServiceName=mongodb E

				
			

			

				

					lucky_ferry的博客
				

				

					12-07
					
					3137
					
				

			

		

		

			
				
配置完环境变量，说是连接失败~~

这好像是因为没有指明它输出在哪里？

-------------------------

需要再新建一个文件夹

我在D盘与mongodb同目录下新建一个文件夹mongodata



然后开启一个cmd窗口，然后需要进入mongodb下的bin 目录下输入指令，简单办法：

直接先进入mongodb下的bin目录，然后双击小红框



输入cmd 再回车 进直接进入我们需要的目录下了，输入命令

mongod.exe --dbpath D:\mongodata

..

			
		

	





	

		

			

				
					
Hadoop 运维总结

				
			

			

				

					connor_1的博客
				

				

					11-12
					
					1430
					
				

			

		

		

			
				
hadoop运维报错总结初衷case1功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
初衷
把平常工作中遇到的问题报错...

			
		

	





	

		

			

				
					
hadoop错误DataXceiver error processing WRITE_BLOCK operation

				
			

			

				

					
				

				

					10-08
					
					1821
					
				

			

		

		

			
				
错误：
 DataXceiver error processing WRITE_BLOCK operation
原因：
 文件操作超租期，实际上就是data stream操作过程中文件被删掉了。
解决办法：
 修改hdfs-site.xml （针对2.x版本，1.x版本属性名应该是：dfs.datanode.max.xcievers）：
 <pr...

			
		

	





	

		

			

				
					
hadoop DN不能启动,报错：DataXceiver error processing WRITE_BLOCK operation

				
			

			

				

					aspkhdp的博客
				

				

					08-04
					
					7959
					
				

			

		

		

			
				
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: hadoop-yarn.cloudyhadoop.com:50010:DataXceiver error processing READ_BLOCK operation  src: /192.168.1.104:52441 dst: /192.168.1.20:50010

修改数据传输

			
		

	





	

		

			

				
					
解决hbase RegionServer频繁宕机的一些办法

				
			

			

				

					十色花的博客
				

				

					11-21
					
					4382
					
				

			

		

		

			
				
HBase在使用中会遇到非常多的问题，最为常见的就是HBase regionserver挂掉（此文中简称regionserver为RS），

而RS挂掉的原因各不相同。在本文中对遇到过的HBase RS挂掉的情况做一个简单的整理。
HBase集群预留内存不足

现象：HBase RS在起来1-2min后马上挂掉

日志为如下日志段的重复：

Mon Aug  6 10:23:54 CST 2018...

			
		

	





	

		

			

				
					
ICQ被购后看腾讯出击DST：迈出国际化的关键一步

				
			

			

				

					weixin_30809173的博客
				

				

					06-16
					
					78
					
				

			

		

		

			
				
4月12日夜，亿万中国人熟悉的QQ企鹅又增添了一些“国际背景”。
腾讯宣布，以3亿美元现金正式入股俄罗斯投资公司DST，由此获得DST的10.26%普通股和0.51%总投票权，并有权提名一位DST董事会观察员。这一举动，意味着腾讯自成立以来迈出了国际化最大的关键一步。
对于DST，广大QQ用户可能并不熟悉，实际上DST的来头不小。DST是由俄罗斯亿万富翁尤里•米尔纳及杰雷戈里•芬格尔于2005...

			
		

	





	

		

			

				
					
DataXceiver error processing WRITE_BLOCK operation src: /x.x.x.x:50373 dest: /x.x.x.x:50010

					
热门推荐

				
			

			

				

					Mrknowledge
				

				

					03-14
					
					1万+
					
				

			

		

		

			
				
Error:

DataXceiver error processing WRITE_BLOCK operation src: /x.x.x.x:50373 dest: /x.x.x.x:50010
Solution:
1.修改进程最大文件打开数

/etc/security/limits.conf
# End of file
*               -      nofile

			
		

	





	

		

			

				
					
DataNode数据处理中心DataXceiver

				
			

			

				

					走在前往架构师的路上
				

				

					02-02
					
					7470
					
				

			

		

		

			
				
前言最近在CSDN的首页上看到了hadoop十周年的文章,不禁感慨这真是一个伟大的系统啊.在这十年间,hadoop自身进行了许多演化和大的改变,而在其下,也孵化出了许多子项目,围绕着hadoop的生态圈现在变得越来越丰富了.所以作为一个出色的分布式系统,他有很多地方值得我们学习,最近本人在研究DataXceiver方面的代码,此篇文章算是这几天学习的一个总结吧.为什么选择学习DataXceiver

			
		

	





	

		

			

				
					
Connection refused: no further Connection refused: no further information: /127.0.0.1:9848information: /127.0.0.1:9848

				
			

			

				

					04-27
				

			

		

		

			
				
Connection refused: no further information: /127.0.0.1:9848这个错误通常出现在尝试连接一个不可用的网络端口时。这个错误信息意味着客户端无法连接到服务器，可能是因为目标机器没有运行相应的服务或者正在防火墙等网络设备中被阻止。

如果你正在尝试连接本地机器上的服务，可以检查服务是否已经正确启动并监听了相应的端口。如果你正在尝试连接远程机器上的服务，可以检查目标机器是否已经开放了相应的端口，并且防火墙是否阻止了该端口。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值