Hbase
wandy0211
这个作者很懒,什么都没留下…
展开
-
HBase多租户-Namespace Quota管理
在多租户的HBase环境中,通常给一个租户分配一个namespace,因此namespace的容量管理是多租户管理必不可少的一部分.目前namespace支持三种容量的管理,table的最大数目,region的最大数目和namespace占用的文件系统空间.本文给出了通过hbase shell和JAVA API两种方式设置namespace quota的方法.Number-of-Tables Quotas和Number-of-Regions Quotas设置namespace quota之前,必.原创 2020-10-21 09:46:27 · 612 阅读 · 0 评论 -
org.apache.hadoop.hbase.NotServingRegionException: Region is not online 错误总结
遇到了下面错误:14/05/16 03:59:30 INFO master.MasterFileSystem: Log folder hdfs://master:8020/hbase/WALs/slave1,60020,1400183951986 belongs to an existing region server 14/05/16 03:59:30 INFO master.MasterF...原创 2019-10-31 16:50:23 · 4222 阅读 · 0 评论 -
HBase学习---HBase snapshot
hbase的snapshot功能还是挺有用的,本文翻译自cloudera的一篇博客,希望对想了解snapshot?的朋友有点作用,如果翻译得不好的地方,请查看原文 Introduction to Apache HBase Snapshots? 对照。 在之前,备份或者拷贝一个表只能用copy/export表,或者disablehbase的snapshot功能还是挺有用的,本文翻译自clo...原创 2019-05-13 10:04:31 · 505 阅读 · 0 评论 -
HBase学习---HBase Replication实战案例
HBase Replication 部署过程:1.配置并启动源hbase集群和目标hbase集群2.在源集群和目标集群上创建具有相同名称和列族的表如果标在目标集群不存在,需要在目标集群上创建对应的表。具体步骤如下:1. 在源hbase集群的shell下执行describe 命令:hbase> describe acme_usersTable acme_u...原创 2019-05-08 17:03:59 · 610 阅读 · 0 评论 -
HBase学习---HBase高可用性(HBase Read Replicas)
1. HBase Read Replicas简介:在没有HBase Read Replicas的情况下,只有一个RegionServer为来自客户机的读请求提供服务,而不管RegionServer是否与具有对相同块的本地访问权的其他datanode进行了协作。这确保了正在读取的数据的一致性。然而,由于性能不佳的RegionServer、网络问题或其他可能导致读取速度慢的原因,RegionSer...翻译 2019-05-08 14:12:58 · 620 阅读 · 0 评论 -
HBase学习---HBase Replication
1.HBase Replication简介: HBase Replication 主要是将一个HBase集群中的数据复制到目标HBase集群。在HBase中,集群复制是指使用源集群的write-ahead log (WAL)传播更改,使一个集群状态与另一个集群状态保持同步。HBase Replication可以作用在column family级别。 在启用HB...原创 2019-05-08 14:03:00 · 1552 阅读 · 0 评论 -
Cloudera Search之三 Hbase二级索引方案
Hbase 二级索引方案概述在 Hbase 中,表的 RowKey 按照字典排序, Region 按照 RowKey 设置 split point 进行 shard,通过这种方式实现的全局、分布式索引. 成为了其成功的最大的砝码。然而单一的通过 RowKey 检索数据的方式,不再满足更多的需求,查询成为 Hbase 的瓶颈,人们更加希望像 Sql 一样快速检索数据,可是,Hba...原创 2019-04-29 18:59:29 · 491 阅读 · 0 评论 -
Hbase存储详解
转自:http://my.oschina.net/mkh/blog/349866 Hbase存储详解 started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital Hbase prototype created as Hadoop contrib 2007.10 F...转载 2019-01-02 18:23:45 · 240 阅读 · 1 评论 -
针对HBase的Java GC调优
文章是由Intel的Java性能架构师(Java performance architect)Eric Kaczmared发表,用于探索如何对HBase进行Java GC调优,全文的测试基于YCSB 100% Read进行测试。Apache HBase是一个有Apache基金会开源,提供Nosql 数据存储的项目。通常和HDFS一起使用,HBase已被全世界广泛引用。比如众所周知的Facebo...翻译 2019-01-02 15:19:48 · 243 阅读 · 0 评论 -
HBase Compaction
Compaction介绍Compaction是buffer->flush->merge的Log-Structured Merge-Tree模型的关键操作,主要起到如下几个作用:1)合并文件2)清除删除、过期、多余版本的数据3)提高读写数据的效率Minor & Major Compaction的区别1)Minor操作只用来做部分文件的合并操作以及包括min...转载 2019-01-02 14:44:54 · 167 阅读 · 0 评论 -
HBase的权限管理(namespace)
HBase的权限管理(namespace)HBase的权限管理依赖协协处理器。所以我们需要配置hbase.security.authorization=true,以及hbase.coprocessor.master.classes和hbase.coprocessor.master.classes使其包含org.apache.hadoop.hbase.security. ac原创 2017-12-04 14:21:40 · 4917 阅读 · 0 评论 -
Hbase多租户实现方案—资源限制—quotas
Hbase多租户实现方案—资源限制—quotas 上次整理了hbasde多租户基于namespace的权限管理实现方案,对于一些应用场景,基于namespace权限的多租户还不能够很好的满足业务的需求。业务有时候不单单需要基于权限的多租户,有时候还需要更复杂的基于资源限制调度的多租户,以满足在资源有限的情况下优先保证核心重要业务的正常运行。社区针对这个问题提出了相应的应对措施原创 2017-12-11 09:47:53 · 2942 阅读 · 0 评论 -
HBase优化
hbase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力,hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库,为及早发现集群中的问题,还开发了一套对hbase集群服务和应用全面监控的报警系统。总结下hbase优化(针对0.94版本)方面的一些经验也算对这两年hba原创 2017-11-10 15:58:13 · 194 阅读 · 0 评论 -
HBase
Apache HBase ConfigurationHBase Configuration File Descriptionsbackup-mastersNot present by default. A plain-text file which lists hosts on which the Master should start a backup Master pr原创 2017-11-09 15:39:30 · 390 阅读 · 0 评论