hbase 一致性修复

最新推荐文章于 2021-12-22 23:19:25 发布
最新推荐文章于 2021-12-22 23:19:25 发布
阅读量1k 收藏 1
点赞数
分类专栏： hbase 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sld1023/article/details/83011159
版权

程序报错

检查hbase 一致性

hbase hbck -details "user_tags"

异常情况

正常情况

 

修复

修复前需先停止表的读写功能

停用表：disbale 'user_tags'
启用表：enable 'user_tags'

hbase hbase hbck -repair "user_tags"

问题1:修复使用的账号、hdfs 上文件的权限不对

解决：

1. 查看文件权限是否有误

2. 更改执行语句的用户，以及修改文件权限

3. 需要切换成有权限账号执行

4. 如果 su - hbase 切换不成功 可使用 sudo -u hbase hbase hbck -repair "user_tags"

 

 

问题2:使用 repair 修复依旧不成功

使用repair修复后，发现还存在不一致情况，查看日志出现以下报错

解决：hbase hbck -fixEmptyMetaCells

可参考：https://github.com/mattshma/bigdata/issues/41

sld1023
关注
专栏目录
Hbase表级别元数据一致性和hbck原理
bluekeyv的专栏
03-10 4767
最近重新回到熟悉的hbase领域，感慨还是很多。首先终于又可以沉下心来好好搞技术了，其次看到现在有冲劲有追求的年轻人就像看到原来的自己。大数据需要一代一代人传承下去。 最近我们上了region group的patch，将原来在2.0里面才合并的patch 加到了0.98版本中。初始使用的时候挺好，但是也遇到了一点问题——在做表group之间迁移的时候发现master页面上的元数据信息有误。而实际
技术篇-HBase 2.0 之修复工具 HBCK2 运维指南
weixin_33720452的博客
01-11 2992
概述 目前社区已经发布了 HBase 的 2.0 版本，很多公司都希望去尝试新版本上的新功 能，但是不得不面对的问题就是当集群出了问题应该如何解决。在之前的 HBase版本中，我们可以依赖 hbck 来帮助检查问题和修复问题，在新的版本上我们应 该如何去处理呢?HBASE-19121[1]给了我们答案——HBCK2。HBCK2 目前发布 了 1.0 版本...
HBase 2.0 之修复工具 HBCK2 运维指南
jast
01-07 1万+
HBase 2.0 之修复工具 HBCK2 运维指南 转载自：https://mp.weixin.qq.com/s/GVMWwB1WsKcdvZGfvX1lcA?spm=a2c4e.11153940.blogcont683107.11.49d762a815MegW 概述         目前社区已经发布了 HBase 的 2.0 版本，很多公司都希望去尝试新版本上的新功能，但是不得不面对...
HBase变更表名以及meta表修复
qq_25954159的博客
10-13 779
表名变更： 1.停止表继续插入  hbase shell>disable 'tableName' 2。制作快照 hbase shell> snapshot 'tableName', 'tableSnapshot' 3.克隆快照为新的名字 hbase shell> clone_snapshot 'tableSnapshot', 'newTableName' 4.删除快照 hbas
Hbase数据恢复方案
摩西YF拉比
04-06 2358
1      HBase数据路由 1、  从ZooKeeper中获取-ROOT- Region所在的RegionServer 2、  向-ROOT- Region所在的RegionServer发送Scan –ROOT-的RPC请求，来获取.META. Region 所在的位置。下图为-ROOT- Region里的具体内容 3、  向.META. R
第二次尝试修复Hbase2出现Region不一致，使用 HBCK2 - 2021.11.15
chun的博客
11-15 4247
spark任务中入hbase任务全部失败了，查看日志发现hbase出现问题 报错日志： 在hbase的log中看到报错 Call queue is full on xxxx,16000,1611197476326, too many items queued 修改了配置文件，增加了队列数量 参数说明：https://hijiazz.gitee.io/hbase-callqueue-isfull/ 并且zookeeper好像挂掉了，后来重启zk。 然后重启hbase后出现了region不一致的情况。 尝试
hbase2.5.6最新版本下载
最新发布
01-10
1. ZooKeeper：HBase依赖ZooKeeper进行元数据管理，协调各个节点间的通信，确保系统的高可用性和一致性。 2. Master节点：负责全局的表管理和Region分配。 3. Region Server：实际存储数据的节点，负责数据的读写...
HBase数据一致性与容错机制：HDFS与ZooKeeper的整合
HBase数据一致性与容错机制简介 ## 1.1 HBase简介 HBase 是一个分布式、可扩展、高性能的开源列存储数据库，常用于处理海量数据。它基于 Hadoop 平台，利用 HDFS 存储数据，提供了高可靠性和容错性。HBase 是一个...
python操作hbase
02-04
此外，“database”标签提示我们HBase作为一个数据库，它提供了ACID（原子性、一致性、隔离性和持久性）特性，尽管在NoSQL数据库中可能不如关系型数据库那样严格。 总之，Python通过`hbase-thrift`库与HBase的交互...
hbase-1.1.5
08-28
5. **强一致性**：HBase采用Zookeeper进行协调，确保数据的一致性，提供ACID事务特性。 二、HBase 1.1.5的关键改进 1. **性能优化**：1.1.5版本对数据读写的性能进行了优化，包括更高效的Region分裂和合并策略，...
hbase和hadoop数据块损坏处理
11-05
介绍hbase和hadoop数据块损坏如何处理
关于hbase修复
lisong_ghost的博客
11-24 2064
查看hbase ui http://hmasterIP:16010/master-status 查看是否datanode有挂掉的，hdfs服务是否正常 hbase hbck 检查hbase状态 常规用repair即可解决 hbase hbck -repair 相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHd...
使用hbase hbck修复region中数据不一致问题
热门推荐
宝罗Paul 的博客
12-28 1万+
[hbase版本1.1.2] [hbase@kmr-5b9c18fc-gn-7198aa8e-client-1-001 ~]$ ll -t total 788 -rw-r--r--. 1 hbase hadoop  60614 Dec 27 18:22 20171227_8th_After_fixAssgnmentOf_should_end_with_an_empty_key_FORte
hbase hbck使用介绍
weixin_43697701的博客
12-22 4250
hbase hbck 1、简介 hbck工具可以检测hbase集群的region一致性和完整性，同时可以修复损坏的集群数据 工作模式两种：一致性检测只读模式，和多阶段修复模式 2、集群的一致性状态 1）region一致性 集群中所有region都被assign，且region在Master内存、ZK和hbase：meta表三个地方一致 2）表完整性 集群中的任意一张表，每个rowkey都仅能存在于一个region区间中 3、集群一致性状态检测 1）命令 hbase hbck 一般集群规模较大尽量不要直接执行
HBase——强一致性详解
weixin_30537391的博客
08-11 420
Hbase是一个强一致性数据库，不是“最终一致性”数据库，官网给出的介绍： “Strongly consistent reads/writes: HBase is not an "eventually consistent" DataStore. This makes it very suitable for tasks such as high-speed counter aggregatio...
hbase 一致性 问题思考
fei33423的专栏
09-25 1692
搜索了下 hbase 和 paxos .说 hbase 本身的 hdfs 和 paxos 无关. 后来又发现一篇文章浅谈Hbase 的强一致性 :     从一开始就知道hbase是CAP中的CP系统,即hbase是强一致性的.我原来一直以为hbase的强一致性是因为底层的HDFS写入时,必须所有副本都写入成功才能返回.最近才想明白,hbase之所以是CP系统,实际和底层HDFS无关,
hbase使用、运维、改进(不断更新)
bluekeyv的专栏
03-07 1万+
刚刚看了google jeff dean 在新的一年里发表的演讲，讲到各种系统配合使用完成海量数据处理任务。深有感触：http://t.cn/zYE89gn 。2013年，依然会专注hbase研究，并以此为基础扩展，对hbase衍生的一些特性和产品进行深入研究，例如replication、phoenix。从传统的离线计算（hadoop、hive），到实时流式计算系统（storm、s4），创新应用性
HBase 2.0之修复工具HBCK2，修复数据
wenzhixiang1192的博客
04-07 1705
1.起因 此次修复数据情况是:服务器中毒导致HBASE异常关闭， 启动各种错误，实在没搞懂就清理了ZK关于HBASE的目录（rmr /hbase 建议先看原因，实在不行在做这个删除ZK操作，不对任何人负责，只是记录我修复的过程，仅供参考），本人的HBASE版本是2.0.5。 2.查找资料 关于如何修复ZK相关数据，查找到了相关文章 （HBase指南 | HBase 2.0之修复工具HBCK2运维指南 https://mp.weixin.qq.com/s/GVMWwB1WsKcdvZGfvX1lcA?s
云图说 | 一分钟带你扫盲云容器黑话
华为云官方博客
09-07 1604
摘要：云容器引擎（Cloud Container Engine）提供高可靠高性能的企业级容器应用管理服务，支持Kubernetes社区原生应用和工具，简化云上自动化容器运行环境搭建。 云容器引擎提供Kubernetes原生API，支持使用kubectl，且提供图形化控制台，让您能够拥有完整的端到端使用体验，使用云容器引擎前，建议您先了解相关的基本概念。 点击“了解更多”，关于CCE，你想知道的都在这里！ 点击关注，第一时间了解华为云新鲜技术~ ...
hbase热点修复示例
05-19
HBase的热点问题通常是由于某个Region Server上的某个Region负载过重而导致的。修复一个热点问题需要从以下几个方面入手： 1. 找出负载过重的Region 可以通过HBase的Web UI或者HBase shell命令来查看每个Region的负载情况。一般来说，负载过重的Region会有很高的读写请求数量。 2. 将负载过重的Region迁移到其他Region Server上 可以通过HBase shell命令来手动迁移Region。首先需要找到目标Region Server，然后将负载过重的Region迁移到该Region Server上。 3. 均衡Region分布 可以通过HBase shell命令来启用Region均衡功能，让HBase自动将Region分布均衡到各个Region Server上。 下面是一个示例，演示如何手动迁移一个负载过重的Region： 1. 查看Region的负载情况 ``` hbase shell hbase(main):001:0> status 'databasetable' ``` 2. 找到负载过重的Region 在输出结果中查找请求数量最高的Region。 3. 手动迁移Region ``` hbase shell hbase(main):001:0> move 'regionname', 'servername' ``` 其中，`regionname`是需要迁移的Region的名称，`servername`是目标Region Server的名称。 4. 检查Region负载情况 ``` hbase shell hbase(main):001:0> status 'databasetable' ``` 确保已经成功将负载过重的Region迁移到其他Region Server上。 需要注意的是，手动迁移Region可能会导致数据的不一致性。如果需要保证数据的一致性，可以使用HBase的自动均衡功能来进行Region的迁移。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值