hbase1.1.3版本二级索引-split相关源码调整

1 hbase-server : SplitTransactionImpl 类添加 SplitInfo 内部类 2 hbase-server : RegionCoprocessorHost 中添加 public SplitInfo preSplitBeforePONR(byte[] splitK...

2016-11-15 09:54:11

阅读数:453

评论数:0

360 hbase二级索引总结

1、查询   客户端并行的向表的所有region发一个请求,然后每个region在server端会对数据进行检索和查询以及数据获取并把最终结果返回给客户端。客户端获取到各个region上检索的结果之后,会对结果进行合并和排序。 2、建索引   客户端把请求发给各个region,各个regio...

2016-09-07 18:45:22

阅读数:2073

评论数:1

360HBase二级索引方案学习总结

在今年的北京QCon大会上,360公司的系统部技术经理赵健博在演讲中公布了360公司的HBase二级索引方案,这一方案的提出将比华为HBase二级索引更好的解决了Hbase的多维实时查询问题。它的核心思想是保证了索引和数据在同一region上,减少了IO通信,提升了HBase的读性能,并且无非修改...

2016-09-06 19:40:50

阅读数:613

评论数:0

KeyValue 结构

key:   Row Length(2B) + Row + Column Family Length(1B) + Column Family + Column Qualifier + TimeStamp(8B) + KeyType(1B)       bytes:   if(tagsLength ...

2016-06-22 11:05:10

阅读数:182

评论数:0

华为hindex split

hindex在源码中关于split的修改部分 1、CompactSplitThread.requestSplit 如果是索引表直接退出 public synchronized void requestSplit(final HRegion r, byte[] midKey) { ...

2016-06-02 13:48:46

阅读数:672

评论数:0

HBase 0.94中的Split策略

HBase 0.94之前版本中,split使用的是ConstantSizeRegionSplitPolicy。当region中文件大小超过配置中所指定大小时,会进行切分。 而在0.94版本之后,默认split策略修改为了IncreasingToUpperBoundRegionSplitPol...

2016-06-02 13:25:23

阅读数:264

评论数:0

hbase1.1.3 启动一

1. HMaster中有个main方法,这是HMaster启动的开始的地方 /** * @see org.apache.hadoop.hbase.master.HMasterCommandLine */ public static void main(String [] ar...

2016-06-01 19:18:22

阅读数:920

评论数:0

HBase Compaction流程

HBase Compaction策略 RegionServer这种类LSM存储引擎需要不断的进行Compaction来减少磁盘上数据文件的个数和删除无用的数据从而保证读性能。 RegionServer后台有一组负责flush region的线程(MemStoreFlusher),每...

2016-05-24 16:42:40

阅读数:205

评论数:0

HBase 0.94.8 split 源码分析

1. 发起 hbase split 1.1 HBaseAdmin.split /** * Split a table or an individual region. * Asynchronous operation. * * @param tableNameOrR...

2016-05-18 18:42:30

阅读数:461

评论数:0

HBase 1.1.3 balance相关源码分析 一

HMaster类中与balance相关部分 1、初始化 //balancer作为HMaster的一个成员变量 LoadBalancer balancer; //ClusterStatusChore 这个会定时去执行balancer private ClusterStatusChor...

2016-05-13 15:28:33

阅读数:629

评论数:0

HBASE优化

HBASE优化、维护相关 一、性能优化  1.、垃圾回收优化 由于master负载通常比较轻,所以一般考虑region服务器启动参数。写负载高的情况下,memstore在不同时期创建各种不同大小的对象。memstore会保存缓冲区中的数据直到超过hbase.hregion.memstore....

2016-05-13 14:53:21

阅读数:511

评论数:0

Hbase 0.98.3 & 1.1.3 balance理解

hbase 版本 0.98.3 HBase 可以根据当前集群的负载以region为单位进行rebalance。在HMaster中,后台会起一个线程定期检查是否需要进行rebalance,线程叫做BalancerChore。线程每隔 hbase.balancer.period会定期执行 maste...

2016-05-12 10:20:58

阅读数:991

评论数:0

HBase -ROOT-和.META.表结构(region定位原理)

在HBase中,大部分的操作都是在RegionServer完成的,Client端想要插入,删除,查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer?就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServe...

2016-05-11 13:56:27

阅读数:202

评论数:0

InterfaceAudience InterfaceStability

hadoop common 下的两个类 InterfaceAudience ,InterfaceStability ; InterfaceAudience 有三个抽象方法,主要用于说明使用的范围 /**    * Intended for use by any project...

2016-05-10 09:36:17

阅读数:278

评论数:0

HBase 1.1.3 中如何开发LoadBalance插件

定制LoadBalancer插件需要两个步骤: 1、继承org.apache.hadoop.hbase.master.LoadBalancer Interface,实现自己的LoadBalancer Class。 2、在hbase-site.xml中增加配置项,使得定制的LoadBalance...

2016-05-05 14:55:32

阅读数:800

评论数:0

Hbase LSM树

LSM树是HBase里非常有创意的一种数据结构,它和传统的B+树不太一样,下面先说说B+树。 1 B+树 相信大家对B+树已经非常的熟悉,比如Oracle的普通索引就是采用B+树的方式,下面是一个B+树的例子: 根节点和枝节点很简单,分别记录每个叶子节点的...

2016-05-04 15:50:04

阅读数:301

评论数:0

对hbaseadmin.balancer()的一些理解

今天测试用hbaseadmin.split手动对region进行拆分,拆分完之后,并没有和我想的那样region均衡分布到3个regionserver上去。感觉很莫名,说好的balancer呢,怎么不起作用,于是我手工执行了一下hbaseadmin.balancer(),还是没效果。尼玛! ...

2016-04-29 13:03:06

阅读数:368

评论数:0

OutputFormats

Hadoop常常被用作大型数据处理生态系统中的一部分。它的优势在于能够批量地处理大量数据,并将结果以最好的方式与其他系统相集成。从高层次角度来看,整个过程就是Hadoop接收输入文件、使用自定义转换(Map-Reduce步骤)获得内容流,以及将输出文件的结果写回磁盘。上个月InfoQ展示了怎样在第...

2016-04-21 19:50:13

阅读数:194

评论数:0

HBase Region分裂

1、RegionServer决定本地的region分裂,并准备分裂工作。第一步是,在zookeeper的/hbase/region-in-reansition/region-name下创建一个znode,并设为SPLITTING状态。 2、Master通过父region-in-transit...

2016-04-15 15:54:20

阅读数:362

评论数:0

HBase Split 过程

在管理集群时,最容易导致hbase节点发生故障的恐怕就是hbase region split和compact的了,日志有split时间太长;文件找不到;split的时候response too slow等等,所以先看看hbase region split源码,希望对以后能有帮助   H...

2016-04-12 23:33:44

阅读数:1806

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭