2017年04月_草根聪

11月 07月 06月 05月 04月

原创 hbase 二级索引

http://www.infoq.com/cn/presentations/qihoo360-hbase-two-stage-index-design-and-practice

2017-04-27 16:24:57 447

原创 COMPACT分析

相关文章链接：http://blog.csdn.net/hljlzc2007/article/details/10980949http://www.th7.cn/db/nosql/201612/217383.shtml 源文档 http://cache.baiducontent.com/c?m=9d78d513d98316f005a9c3690c66903a4503d7356b8

2017-04-13 17:06:33 526

原创 SPLIT分析

Region Split操作主要分为2个动作：（1）当splitkey==null时，计算此次拆分的splitkey（2）根据splitkey进行实际的拆分工作如何获取splitkey？1、调用checkSplit函数，若发现被拆分的region是meta region，这直接返回，因为meta Region不能被拆分2、判断是否满足拆分策略：（1）store大于

2017-04-13 17:05:40 464

原创 HMaster功能与启动

相关文章链接：http://blog.csdn.net/hanhuili/article/details/19080583http://blog.csdn.net/firstephen/article/details/9256715http://xxniao.iteye.com/blog/2195200 1、HMaster自身构造函数1.1、获取当前运行HMaster的机器

2017-04-13 17:04:49 5730

原创 RegionServer的整体结构

相关文章链接：http://blog.csdn.net/firstephen/article/details/9256715http://www.binospace.com/index.php/hbase-in-depth-analysis-of-the-regionserver/ 1、调用自身HRegionServer构造函数2、生成memstoreFlush、split、c

2017-04-13 17:03:51 1189

原创 HFile

如下图，HFile的组成分成四部分，分别是Scanned Block（数据block）、Non-Scanned block（元数据block）、Load-on-open（在hbase运行时，HFile需要加载到内存中的索引、bloom filter和文件信息）以及trailer（文件尾）。 Scannedblock section1、DataBlock

2017-04-13 16:58:39 1122

原创 HBase启动

# HBase中组件及启动流程记录 ## 1.服务组件- Client -包含访问HBase的接口，并维护cache来加快对HBase的访问，比如region的位置信息 - Master - 为Region server分配region - 负责Region server的负载均衡 - 发现失效的Region server并重新分配

2017-04-13 16:55:00 2848

原创 FLUSH分析

调用点：MemStoreFlusher，MemstoreFlusher有默认的2个FlushHandler，每个FlushHandler都是一个线程，监听MemStoreFlusher的事件，最终的刷写动作是由FlushHandler线程来处理的； FLUSH具体实现步骤：1、如果不是meta region并且region已经有过多的store fi

2017-04-13 16:53:16 762

原创 Hbase Region定位

Hbase Region定位2017年3月4日15:36 获取每个table的row对应的locate，具体实现如下：1、调用locateRegionInMeta函数，首先查找cache中是否有table对应的row，比较缓存中的Table对应的startkey与endkey，判断row是否在某个region中；若能找到，直接返回该regionlcation信息2、若

2017-04-13 16:50:40 1917 1

原创 HBase相关源码学习（PUT）

客户端：1、调用client端的putAPI2、客户端client的缓存会将这些puts缓存起来，缓存的大小可以在hbase的conf中配置3、当客户端的缓存满或者用户主动调用flush API或者HBase的配置为auto flush；满足3者任何一个时，客户端会将puts操作发送至server端4、如何将每个put操作发送至正确的Server端呢？主要通过Region定

2017-04-13 16:42:37 475