遇到问题-hadoop---hbase--hdfs-块损坏--EOF while reading metadata file header

最新推荐文章于 2024-08-23 14:33:49 发布
最新推荐文章于 2024-08-23 14:33:49 发布
阅读量2.7k 收藏
点赞数
分类专栏： 遇到问题解决方案集锦 hbase hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzq900503/article/details/80708985
版权
遇到问题解决方案集锦 同时被 3 个专栏收录
264 篇文章 644 订阅 ¥19.90 ¥99.00
订阅专栏
hbase
15 篇文章 4 订阅 ¥19.90 ¥99.00
订阅专栏
hadoop
41 篇文章 3 订阅
订阅专栏
在Hadoop-HBase环境中遇到HDFS块损坏的问题，表现为EOF异常。通过检查文件、存储一致性及运行修复命令尝试解决。若损坏严重，可能需要移除损坏块并重新分配。修复命令包括：`hdfs fsck / -delete`或`hbase hbck -fixAssignments`，同时需关注集群状态，确保一致性。
摘要由CSDN通过智能技术生成

遇到问题

报错如下:

EOF while reading metadata file header
或者
Problem reading HFile Trailer from file hdfs://host250:8020/hbase/data/default/chipdata/c911d705e54912187a9d0c4dd3314550/d/a8bc31a879a24264a02b640786b778be

如图:

原因

首先可以先cat一下文件看看是否能够访问:


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  张小凡vip
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
hbase-0.98.12.1-hadoop1-bin.tar.gz

				
			

			

				

					12-04
				

			

		

		

			
				
集成过程需要确保Hadoop和HBase的版本匹配，以避免兼容性问题。  6. **HBase操作与使用**  HBase通过Shell命令、Java API或RESTful接口进行操作。创建表、插入数据、查询数据、删除表等基本操作都可以通过这些方式...

			
		

	



                

              
                



	

		

			

				
					
EOF while reading packet

				
			

			

				

					power_kaikaige的博客
				

				

					12-04
					
					1998
					
				

			

		

		

			
				
用pycahrm往服务器上传文件，突然不能上传了，并提示“EOF while reading packet”，解决方案

			
		

	



                


  
              

                


	

		

			

				
					
yarn-ats

				
			

			

				

					warrah 南极狼
				

				

					02-03
					
					3218
					
				

			

		

		

			
				
进入到zookeeper查看是否有/atsv2-hbase-secure/meta-region-server文件
su - zookeeper
kinit -kt /etc/security/keytabs/zk.service.keytab zookeeper/bg6.whty.com.cn@HADOOP.WHTY
sh /usr/hdp/3.1.0.0-78/zookeeper/bin/zkCli.sh -server bg6.whty.com.cn:2181

查看zookeeper的目录结构，可以

			
		

	





	

		

			

				
					
git push时报错send-pack: unexpected disconnect while reading sideband packet

					
最新发布

				
			

			

				

					大白鲨X的专栏
				

				

					08-23
					
					222
					
				

			

		

		

			
				
在git push的时候，出现如下问题：完整错误如下：


原因分析：

原先push都没有问题，这次带了一个1.5M的文件就出了问题，基本上就是这个文件大小的问题；

			
		

	



		

			
		



	

		

			

				
					
记一次 mapreduce 加载HFile文件到HBase中

				
			

			

				

					枪枪枪的博客
				

				

					06-30
					
					889
					
				

			

		

		

			
				
code:
编译打包后放到服务器上用java -classpath XXX.jar XXX.BulkLoadDataToHBase /path outPutTabel运行程序前需要先在HBase中建好表
此时运行会出现报错
错误原因是程序运行时无法找到libsnappy.so.*相关的文件，检查了一遍程序中打包的依赖,发现可以找到对应的类

在google上搜索了后发现，有人建议在运行jar时添加-Djava.library.path=/XXX/hadoop/native/选项后，解决了问题。于是在服务器上

			
		

	





	

		

			

				
					
解决一个Yarn异常：Alerts for Timeline service 2.0 Reader

				
			

			

				

					白杨Shayne的博客
				

				

					08-02
					
					1031
					
				

			

		

		

			
				
环境是用Ambari搭建的大数据环境，版本是2.7.3，Hdp是3.1.0；我们用这一套组件搭建了好几个环境，都有这个异常告警，但hive、spark都运行正常，可以正常使用，所以也一直没有去费时间解决这个告警问题。

			
		

	





	

		

			

				
					
hdfs 报错Java eof,遇到问题-hadoop---hbase--hdfs-块损坏--EOF while reading metadata file header...

				
			

			

				

					weixin_32375895的博客
				

				

					03-19
					
					520
					
				

			

		

		

			
				
遇到问题报错如下:EOF while reading metadata file header或者Problem reading HFile Trailer from file hdfs://host250:8020/hbase/data/default/chipdata/c911d705e54912187a9d0c4dd3314550/d/a8bc31a879a24264a02b640786b7...

			
		

	





	

		

			

				
					
hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop  java_hdfs

				
			

			

				

					09-23
				

			

		

		

			
				
《HDFS设计与操作——基于Hadoop的Java实践》  Hadoop分布式文件系统（HDFS）是Apache Hadoop项目的核心组件之一，它为大规模数据处理提供了可扩展、高容错性的存储解决方案。本资料集围绕“hdfs_design.rar”这个...

			
		

	





	

		

			

				
					
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus

				
			

			

				

					02-03
				

			

		

		

			
				
Prometheus Hadoop HDFS FSImage导出器  |  将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选）  块数 文件复制（总体/每个用户摘要）...

			
		

	





	

		

			

				
					
Apache Hadoop---HBase.docx

				
			

			

				

					06-11
				

			

		

		

			
				
HBase通过HDFS（Hadoop Distributed File System）提供底层的数据存储，并且利用Zookeeper进行集群协调和故障检测。这种架构使得HBase能够处理PB级别的大数据，并且在大规模分布式环境中保持低延迟的读写性能。同时...

			
		

	





	

		

			

				
					
hbase-0.98.17-hadoop2-bin.tar.gz

				
			

			

				

					12-24
				

			

		

		

			
				
HBase，全称为Apache HBase，是一款开源的、分布式的、版本化的非关系型数据库（NoSQL数据库），它构建在Hadoop文件系统（HDFS）之上，为大数据提供了高效、可靠的数据存储解决方案。"hbase-0.98.17-hadoop2-bin.tar...

			
		

	





	

		

			

				
					
The HBase application reported a ‘STARTED‘ state. Check took 2.412s

				
			

			

				

					docsz的博客
				

				

					06-14
					
					1358
					
				

			

		

		

			
				
Ambari HDP

			
		

	





	

		

			

				
					
解决一个Sqoop抽数慢的问题，yarn的ATSv2嵌入式HBASE崩溃引起

				
			

			

				

					白杨Shayne的博客
				

				

					08-02
					
					2206
					
				

			

		

		

			
				
新搭建的一个Hadoop环境，用Sqoop批量抽数的时候发现特别慢，我们正常情况下是一个表一分钟左右，批量抽十几个表，也就是10分钟的样子，结果发现用了2个小时：查看yarn日志发现有如下情况：主要有两个情况：经网上查询得知，这个是因为，需要重置HBASE数据库步骤如下。

			
		

	





	

		

			

				
					
大数据 Ambari Yarn 告警: The HBase application reported a STARTED state in xxxxs 解决

				
			

			

				

					Lbg_007的博客
				

				

					06-01
					
					3963
					
				

			

		

		

			
				
现象：

Ats-hbase 作为 yarn 的一个服务已正常起来。但一直存在告警The HBase application reported a 'STARTED' state in 1.773s

原因：

未知

解决：

1，su - yarn-ats

2，yarn app -destroy ats-hbase

3，hadoop fs -rm -R /user/yarn-ats/3.1.4.0-315/*  （备注：把 3.1.4.0-315 换成自己环境的版本，通过 hadoop fs...

			
		

	





	

		

			

				
					
Hbase 一次表异常，有一张表 无法count scan 一直显示重连

				
			

			

				

					weixin_30565199的博客
				

				

					01-04
					
					584
					
				

			

		

		

			
				
z_activeagent                                                                                                                                                                                         ...

			
		

	





	

		

			

				
					
canal-1.1.3数据同步异常 EOF encountered

				
			

			

				

					qq_37670707的博客
				

				

					04-22
					
					3586
					
				

			

		

		

			
				
canal数据同步异常 ：
ERROR c.a.o.canal.parse.inbound.mysql.dbsync.DirectLogFetcher - I/O error while reading from client socket
java.io.IOException: EOF encountered.
at com.alibaba.otter.canal.parse.driver.m...

			
		

	





	

		

			

				
					
HBase启动失败，启动后自动退出

				
			

			

				

					一路前行
				

				

					07-30
					
					2711
					
				

			

		

		

			
				
2017-07-23 08:12:50,325 ERROR [main] master.HMasterCommandLine: Master exiting
java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMaster
        at org.ap

			
		

	





	

		

			

				
					
记一次HBase启动异常的恢复历程

				
			

			

				

					数据源的港湾
				

				

					09-08
					
					2464
					
				

			

		

		

			
				
我去hdfs这个表对应的目录下面查看发现.regioninfo文件是存在的，但meta表中确实没有相关信息，既然是这样情况，那理论上通过-fixMeta应该就可以修复Meta数据，但是实际上执行-fixMeta后并没有实际的效果。至些，这个HBase启动的问题算是彻底修复了，虽然，但是，关于最后的.regioninfo为什么会有问题以及是什么问题，为什么不删除.regioninfo后再-repair就可以修复，这里面的一些细节问题我还没有研究清楚。不管怎样，先记录下来这次的恢复历程吧，后面有时间再来细究。

			
		

	





	

		

			

				
					
php error:0A000126:SSL routines::unexpected eof while reading

				
			

			

				

					WGYHAPPY的博客
				

				

					04-25
					
					6470
					
				

			

		

		

			
				
文章目录问题解决
问题
...
file_get_contents("https://api.weixin.qq.com/sns/jscode2session?appid={$this->appid}&secret={$this->secret}&js_code={$wx_code}&grant_type=authorization_code");
        $wx_resp = json_decode($bac);
...


解决
1.确认 php.ini 中，

			
		

	





	

		

			

				
					
Hadoop 2.9.0 HDFS-default.xml核心属性详解与默认值

				
			

			

				

					
				

			

		

		

			
				
在Hadoop 2.9.0版本的HDFS（Hadoop Distributed File System）配置中，`hdfs-site.xml` 文件扮演着核心角色，它包含了多个关键属性，用于管理和调整HDFS的运行模式、安全性、性能以及集群间的协调。本文将详细介绍几...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 8

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
张小凡vip

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值