遇到问题-hadoop---hbase--hdfs-块损坏--EOF while reading metadata file header

最新推荐文章于 2024-08-23 14:33:49 发布
最新推荐文章于 2024-08-23 14:33:49 发布
阅读量2.7k 收藏
点赞数
分类专栏： 遇到问题解决方案集锦 hbase hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzq900503/article/details/80708985
版权
遇到问题解决方案集锦 同时被 3 个专栏收录
264 篇文章 644 订阅 ¥19.90 ¥99.00
订阅专栏
hbase
15 篇文章 4 订阅 ¥19.90 ¥99.00
订阅专栏
hadoop
41 篇文章 3 订阅
订阅专栏
在Hadoop-HBase环境中遇到HDFS块损坏的问题，表现为EOF异常。通过检查文件、存储一致性及运行修复命令尝试解决。若损坏严重，可能需要移除损坏块并重新分配。修复命令包括：`hdfs fsck / -delete`或`hbase hbck -fixAssignments`，同时需关注集群状态，确保一致性。
摘要由CSDN通过智能技术生成

遇到问题

报错如下:

EOF while reading metadata file header
或者
Problem reading HFile Trailer from file hdfs://host250:8020/hbase/data/default/chipdata/c911d705e54912187a9d0c4dd3314550/d/a8bc31a879a24264a02b640786b778be

如图:

原因

首先可以先cat一下文件看看是否能够访问:


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  张小凡vip
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
hbase和hadoop数据块损坏处理

				
			

			

				

					11-05
				

			

		

		

			
				
介绍hbase和hadoop数据块损坏如何处理

			
		

	



                

              
                



	

		

			

				
					
hdfs 报错Java eof,遇到问题-hadoop---hbase--hdfs-块损坏--EOF while reading metadata file header...

				
			

			

				

					weixin_32375895的博客
				

				

					03-19
					
					520
					
				

			

		

		

			
				
遇到问题报错如下:EOF while reading metadata file header或者Problem reading HFile Trailer from file hdfs://host250:8020/hbase/data/default/chipdata/c911d705e54912187a9d0c4dd3314550/d/a8bc31a879a24264a02b640786b7...

			
		

	



                


  
              

                


	

		

			

				
					
git push时报错send-pack: unexpected disconnect while reading sideband packet

					
最新发布

				
			

			

				

					大白鲨X的专栏
				

				

					08-23
					
					221
					
				

			

		

		

			
				
在git push的时候，出现如下问题：完整错误如下：


原因分析：

原先push都没有问题，这次带了一个1.5M的文件就出了问题，基本上就是这个文件大小的问题；

			
		

	





	

		

			

				
					
安装Hbase出现master.HMaster: Failed to become active masterjava.io.EOFException: Cannot seek after EOF

				
			

			

				

					
				

				

					01-11
					
					560
					
				

			

		

		

			
				
折腾了半天才发现是版本不兼容，Hbase更换为2.5.7后一切正常，以下是网上找的版本对照表。hadoop版本为3.3.6，Hbase为2.3.0，启动后报错如下图。

			
		

	



		

			
		



	

		

			

				
					
EOF while reading packet

				
			

			

				

					power_kaikaige的博客
				

				

					12-04
					
					1991
					
				

			

		

		

			
				
用pycahrm往服务器上传文件，突然不能上传了，并提示“EOF while reading packet”，解决方案

			
		

	





	

		

			

				
					
reading from files

				
			

			

				

					weixin_30338481的博客
				

				

					04-12
					
					195
					
				

			

		

		

			
				
如果有图会很好理解，最近太忙，以后再加吧



#首先有一个需要读取的文件名列表
#然后将文件名列表通过函数string_input_producer放进文件名队列。
#有时候因为数据量太大，需要把他们放进不同的tfrecord文件中
filename_queue = tf.train.string_input_producer(["file0.csv","file1.csv...

			
		

	





	

		

			

				
					
Hadoop期末考试选择题整合--助力期末绩点提高！

				
			

			

				

					考研渣渣斌斌的博客
				

				

					12-26
					
					3542
					
				

			

		

		

			
				
HDFS默认的当前工作目录是/user/$USER, fs.default.name的值需要在哪个配置文件内说明？
A、mapred-site.xml
B、hdfs_site.xml
C、core-site.xml
D、以上均不是


如何启动ssh服务？
== A、 service sshd start==
B、service ssh start
C、/etc/init.d/ssh status
D、service ssh status


关于服务启动正确的是（）
A、sbin/hadoop-dae..

			
		

	





	

		

			

				
					
ecw2c理解元数据：使用BigQuery k-means将4,000个堆栈溢出标签聚类

					
热门推荐

				
			

			

				

					cunehu1722的博客
				

				

					07-24
					
					6万+
					
				

			

		

		

			
				
您如何将超过4,000个活动的Stack Overflow标签分组为有意义的组？ 对于无监督学习和k均值聚类来说，这是一项完美的任务-现在您可以在BigQuery中完成所有这些工作。 让我们找出方法。






Visualizing a universe of clustered tags.





Felipe Hoffais a Developer Advocate fo...

			
		

	





	

		

			

				
					
Hadoop3.1.3+Zookeeper3.5.6+hbase2.2.2+hive3.1.2安装过程中出现的问题

				
			

			

				

					weixin_43487121的博客
				

				

					12-18
					
					544
					
				

			

		

		

			
				
1、hadoop和Zookeeper安装均没有什么问题
2、hbase安装出现的问题
1、hbase日志
2019-12-13 10:17:32,133 INFO  [PEWorker-2] master.SplitLogManager: dead splitlog workers [localhost,16020,1576054070166]
2019-12-13 10:17:32,137 IN...

			
		

	





	

		

			

				
					
hadoop中配置Hbase和Hive（oracle）错误

				
			

			

				

					gzw185074833的专栏
				

				

					07-24
					
					1553
					
				

			

		

		

			
				
急急急~~~@版主撸大湿：HIVE如何连接oracle数据库，我没有连接成功，配置Hbase后hive已经启动了可是一直有问题我把hive-site.xml贴出来，帮忙看看
[hadoop@master conf]$ cat hive-site.xml



        Licensed to the Apache Software Foundation (ASF) under on

			
		

	





	

		

			

				
					
Hbase最全面入门指南

				
			

			

				

					路边摊阿达西的博客
				

				

					11-22
					
					733
					
				

			

		

		

			
				
1.1.介绍

Section1.2, “快速开始”会介绍如何运行一个单机版的HBase.他运行在本地磁盘上。Section2, “配置”会介绍如何运行一个分布式的HBase。他运行在HDFS上

1.2.快速开始

本指南介绍了在单机安装HBase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止HBase。只要10分钟就可以完成以下的操作。

1.2.1.下...

			
		

	





	

		

			

				
					
pycharm远程报错“EOF while reading packet”

				
			

			

				

					ergudai的博客
				

				

					07-08
					
					3599
					
				

			

		

		

			
				
pycharm远程报错“EOF while reading packet”

			
		

	





	

		

			

				
					
【aviator】aviator 报错 EOF while reading string at index

				
			

			

				

					九师兄
				

				

					07-01
					
					1072
					
				

			

		

		

			
				
1.背景
一段代码测试性能报错
@Test
    public void aviatorPatternPerformanceTest21() throws Exception {

        String rule = "(securityEyeLogType == \"1\" || dataType == \\\"traffic\\\") \n" +
                "&& appProtocol == \\\"http\\\" ";

        Aviat.

			
		

	





	

		

			

				
					
fetch-pack: unexpected disconnect while reading sideband packet fatal: early EOF fatal: fetch-pack:

				
			

			

				

					chen的博客
				

				

					05-06
					
					2443
					
				

			

		

		

			
				
这些错误是在尝试克隆 Git 仓库时由于数据传输中断或损坏而发生的。如果这些方法都不奏效，可能需要联系仓库的管理员或检查服务器状态。

			
		

	





	

		

			

				
					
canal-1.1.3数据同步异常 EOF encountered

				
			

			

				

					qq_37670707的博客
				

				

					04-22
					
					3586
					
				

			

		

		

			
				
canal数据同步异常 ：
ERROR c.a.o.canal.parse.inbound.mysql.dbsync.DirectLogFetcher - I/O error while reading from client socket
java.io.IOException: EOF encountered.
at com.alibaba.otter.canal.parse.driver.m...

			
		

	





	

		

			

				
					
HDFS数据块损坏导致的Hive数据查询失败案例

				
			

			

				

					weixin_46325773的博客
				

				

					10-11
					
					1990
					
				

			

		

		

			
				
hdfs块损坏导致hive执行查询、删除问题时报错。
问题1：hive中无法查询表中的数据信息，但是可以展示表结构等信息。
在hive中建立表，显示表信息均显示成功，部分信息如下：
展示表成功：
show tables;


展示表属性成功：
describe test;


插入表数据失败：
insert into test values("hello");


查询的时候也报错,报错信息如下所示：
select* from test;

这可是真的奇怪，冷静下来想想，查看了最开始插入语句的错误信息，发现

			
		

	





	

		

			

				
					
php error:0A000126:SSL routines::unexpected eof while reading

				
			

			

				

					WGYHAPPY的博客
				

				

					04-25
					
					6468
					
				

			

		

		

			
				
文章目录问题解决
问题
...
file_get_contents("https://api.weixin.qq.com/sns/jscode2session?appid={$this->appid}&secret={$this->secret}&js_code={$wx_code}&grant_type=authorization_code");
        $wx_resp = json_decode($bac);
...


解决
1.确认 php.ini 中，

			
		

	





	

		

			

				
					
git：macOS 进行 git clone 时报错 fetch-pack: unexpected disconnect while reading sideband packet

				
			

			

				

					OceanStar的博客
				

				

					02-28
					
					4934
					
				

			

		

		

			
				
macOS 进行 git clone 时报错 fetch-pack: unexpected disconnect while reading sideband packet。

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 8

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
张小凡vip

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值