关注
分享
JavaMan_chen
我就是传说中的java男！
展开
-
Region拆分逻辑
Table of ContentsRegion拆分拆分前提获取拆分点执行拆分回滚操作Region拆分Region的拆分逻辑是通过CompactSplitThread线程的requestSplit方法来触发的，每当执行MemstoreFlush操作时都会调用该方法进行判断，看是否有必要对目标Region进行拆分。拆分前提Region可拆分的前提是需要满足如下约束条件：目标RegionServer的线原创 2015-08-28 10:21:20 · 7623 阅读 · 0 评论 -
HFile存储格式
Table of ContentsHFile存储格式Block块结构HFile存储格式HFile是参照谷歌的SSTable存储格式进行设计的，所有的数据记录都是通过它来完成持久化，其内部主要采用分块的方式进行存储，如图所示：每个HFile内部包含多种不同类型的块结构，这些块结构从逻辑上来讲可归并为两类，分别用于数据存储和数据索引(简称数据块和索引块)，其中数据块包括：(1) DATA_BLOCK：原创 2015-08-21 14:10:00 · 8895 阅读 · 1 评论 -
HBase之Java API
1.Configuration在使用Java API时，Client端需要知道HBase的配置环境，如存储地址，zookeeper等信息。这些信息通过Configuration对象来封装，可通过如下代码构建该对象 Configuration config=HBaseConfiguration.create();在调用HBaseConfiguration.create(原创 2012-01-30 17:15:39 · 20715 阅读 · 2 评论 -
RegionServer功能职责
Table of ContentsRegionServer功能职责租约管理Nonce管理堆内存监控健康检测RegionServer功能职责租约管理HBase的租约管理功能主要应用在scan查询上，如果客户端执行scan操作以后，在60秒内没有将Scanner进行关闭，也没有显示的将租约移除，这时查询租约将会过期，RegionServer会强行关闭与之对应的Scanner，来防止无效连接数过多的情况原创 2015-08-07 09:57:44 · 5677 阅读 · 0 评论 -
Region恢复逻辑
Table of ContentsRegion恢复逻辑配置参数Region恢复逻辑RegionServer出现宕机以后，其上部署的Region将会被Master重新分配处理，由于在宕机前，某些Region的memStore数据可能还没有做flush操作，因此，需要对这部分数据做还原处理，还原过程通过读取HLog文件来实现。截至到目前为止(1.原创 2015-07-31 10:15:24 · 3230 阅读 · 0 评论 -
RPC通信功能实现
Table of ContentsRPC通信功能实现配置参数调用方法RPC通信功能实现HBase的RPC通信功能主要基于Protobuf和NIO这两个组件来实现，在通信管道上选择的是protobuf对外声明的BlockingRpcChannel(阻塞式)，其callBlockingMethod方法决定了客户端与服务端的交互行为，比如采用什么样的方原创 2015-07-24 12:53:50 · 11162 阅读 · 0 评论