HBase 表重启故障问题，如何让损坏的storefile加入skipstorefile中

最新推荐文章于 2019-05-07 16:41:55 发布
最新推荐文章于 2019-05-07 16:41:55 发布
阅读量1.1k 收藏
点赞数
分类专栏： Hbase Hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fp196391196391/article/details/10993129
版权

HBase对于数据块有丢失的store做了启动检查的工作，如果通过HDFS发现store所在的block crrupt掉了，或是大小小于0，则该块所对应的Block被自动加入skipstorefile的metrix中。

但是如果这个store并未被重新加载过，那么block丢失的信息store并不知道，也就不会被加入到skipstorefile中去，所以这个时候去查询这个store里面的数据，就会出现错误。

解决的方法可以是重启Hbase，那么所有的store都要重新挂一次。或者手动进行fsck以及hbase的hbck的check，也许可以解决问题。

hadoop fsck / -delete

hbase hbck /                                          

 

 

fp196391196391
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase StoreFile原理总结
xiaohu21的博客
09-01 4785
HBase StoreFile原理总结 1. StoreFile是什么 在hbase架构设计中，本身hbase基于hdfs进行数据存储。同时为了提升效率，数据会有一个memstore、block cache来做数据缓存，使用wal日志文件来防止内存数据丢失。但最终都会落地到磁盘中，这个磁盘文件就是store file。具体架构可以看我另一篇博客HBase架构原理 一个region中会有多个store，按照此前查看hdfs中信息可知，一个列族一个store文件夹，一个列族中会有1到多个HFile（store
hbase中列簇和列_HBase中Region, store, storefile和列簇的关系
weixin_39587238的博客
12-22 707
The HRegionServer opens the region and creates a corresponding HRegion object. Whenthe HRegion is opened it sets up a Store instance for each HColumnFamily for every tableas defined by the user before...
HBase的一些问题和答案
michael_zhu_2004的专栏
12-19 3371
1.我们常说HBase是“数据即日志”的数据库，它是怎样修改和删除数据的？和Oracle这类传统的RDBMS有什么区别？ 由于HBase的数据文件在HDFS系统中，因此本质上很难修改和删除数据。在HBase中，修改和删除数据都是增加1个新版本的数据（时间戳为最新），旧版本的数据并没有发生变化。 Oracle没有数据的版本概念，在修改和删除数据时不会增加新的数据记录，直接对老数据进行修改或删除。
深入理解HBase Memstore
depe16540458的博客
02-05 876
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn 小站博文地址：深入理解HBase Memstore MemStore是HBase非常重要的组成部分，深入理解MemStore的运行机制、工作原理、相关配置，对HBase集群管理以及性能调优有非常重要的帮助。 HBaseMemstore 首先通过简单介绍HBase的读写过程来理解一下MemSt...
hbase集群断电数据被破坏无法启动
xx7330842的专栏
10-26 3742
集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。 在网上查了一下相关资料，怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整，故把hbase.hlog.split.skip.errors改成true进
两次hbase丢失数据的故障及原因分析
蓝色时分
10-18 735
hbase的稳定性是近期社区的重要关注点，毕竟稳定的系统才能被推广开来，这里有几次稳定性故障和大家分享。 第一次生产故障的现象及原因 现象： [code="java"]1 hbase发现无法写入 2 通过hbck检测发现.META.表中出现空洞，具体log是：;Chain of regions in table ... is broken; edges does ...
Hbase中Region/Store/StoreFile/Hfile之间的关系
热门推荐
不见其长，日有所长
05-07 1万+
Region/Store/StoreFile/Hfile之间的关系 1. Region table在行的方向上分隔为多个Region。Region是HBase中分布式存储和负载均衡的最小单元，即不同的region可以分别在不同的Region Server上，但同一个Region是不会拆分到多个server上。 Region按大小分隔，表中每一行只能属于一个region。随着数据不断插入表，reg...
hbase fsimage损坏处理问题.docx
11-06
在Hadoop和HBase生态系统中，`fsimage`文件是Hadoop HDFS（Hadoop Distributed File System）NameNode的重要组成部分，它存储了HDFS的元数据快照。当`fsimage`损坏时，可能会对整个Hadoop集群的稳定性和HBase服务...
hbase和hadoop数据块损坏处理
11-05
Export 和 Import 是 HBase 的内置功能，可以将 HBase 表内容输出成 HDFS 的 SequenceFiles 文件，然后将文件插入到 HBase 表中。 Snapshot 是 HBase 的快照功能，可以快速创建快照，然后将快照恢复到 HBase 表中。...
java代码将mysql表数据导入HBase表
03-14
这段代码首先连接到MySQL数据库，读取`users`表的所有数据，然后逐条插入到HBase的`user_data`表中。注意，由于HBase不支持日期类型，我们通常将日期转换为长整型（以毫秒为单位）进行存储。 总结，通过上述步骤，...
hbase的表结构及客户端依赖.zip
11-03
1. 表：在HBase中，数据以表格的形式存储，每个表都有一个唯一的名称，并由行键（Row Key）和列族（Column Family）组成。 2. 行键：行键是表中的唯一标识符，决定了数据的物理存储位置。行键是字节序列，用户可以...
HBase的表结构
01-27
在深入探讨HBase的表结构之前，我们先回顾一下关系型数据库(RDBMS)的表结构。关系数据库采用二维表格的形式存储数据，其中每个表由行和列组成，每个列有固定的数据类型，并且在创建表时必须预先定义。例如，创建一个...
hadoop 性能调优 重要参数设置技巧
fp196391196391的专栏
12-16 1万+
这里主要针对Mapreduce的性能调优。 这一两个月在做mapreduce的性能调优，有些心得，还是要记下来的，以郷后人~ 这里主要涉及的参数包括： HDFS： dfs.block.size Mapredure： io.sort.mb io.sort.spill.percent mapred.local.dir mapred.map.tasks & mapred
Hadoop内核分析之Hadoop文件存储细节
fp196391196391的专栏
06-04 1781
众所周知，我们需要hadoop来分布式存储我们的数据，提高并发和吞吐量，造就了Mapreduce框架的易用性。那对于整个这个过程来说，最开始需要我们认识到的是文件是如何存储在hadoop系统上的。           Hadoop可以分为三个部分，Client端，namenode端和datanode端。他们之间的协作做成了这个庞大的分布式文件系统。文件从客户端这个接口，进入系统，由客户端和nam
wordcount示例程序运行全过程（Hadoop-1.0.0）
fp196391196391的专栏
02-27 1328
在上一篇文章中，已经提到了配置完成了一个简单的分布式hadoop的hdfs文件系统，下面就需要去运行一下wordcount来了解该文件系统的运行机制。 cd到wordcount.java的目录，再此目录下建立一个新的目录：WordCount。然后执行： ]$javac  -classpath ~/hadoop-1.0.0/lib/*.java:~/hadoop-1.0.0/hadoop-cor
淘宝-Hadoop内部海量数据平台服务实现
fp196391196391的专栏
04-07 985
淘宝-Hadoop内部海量数据平台服务实现  威大师！ http://www.infoq.com/cn/presentations/hadoop-internal-data-service-platform
大学生挑战杯-喜树根器官培养和抗癌物质喜树碱生成的研究.rar
07-26
大学生挑战杯-喜树根器官培养和抗癌物质喜树碱生成的研究.rar
b278视频及游戏管理平台-springboot+vue.zip（可运行源码+sql文件+）
最新发布
07-26
视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。
HBase 中storefile是什么
04-25
HBase中的storefile是一种稳定的、不...当新数据写入HBase时，正在写入的数据将被缓存并写入新的storefile中，而旧的storefile将被清除。这种分层存储并允许随时访问历史版本的数据非常适合大数据量、读写频繁的场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值