hbase
文章平均质量分 90
JavaMan_chen
我就是传说中的java男!
展开
-
HBase集群搭建
一、安装环境:至少两台linux主机,假设两台机器的登录用户名都为hbase,并且IP分配如下:192.168.7.85 master机器192.168.7.72 slave机器集群的每台机器需要安装如下软件:1.ubuntu linux2. jdk6.0或以上版本 $ apt-get install openjdk-6-jd原创 2012-01-10 17:41:45 · 10179 阅读 · 0 评论 -
RegionServer功能职责
Table of ContentsRegionServer功能职责租约管理Nonce管理堆内存监控健康检测RegionServer功能职责租约管理HBase的租约管理功能主要应用在scan查询上,如果客户端执行scan操作以后,在60秒内没有将Scanner进行关闭,也没有显示的将租约移除,这时查询租约将会过期,RegionServer会强行关闭与之对应的Scanner,来防止无效连接数过多的情况原创 2015-08-07 09:57:44 · 5703 阅读 · 0 评论 -
RPC通信功能实现
Table of ContentsRPC通信功能实现配置参数调用方法RPC通信功能实现HBase的RPC通信功能主要基于Protobuf和NIO这两个组件来实现,在通信管道上选择的是protobuf对外声明的BlockingRpcChannel(阻塞式),其callBlockingMethod方法决定了客户端与服务端的交互行为,比如采用什么样的方原创 2015-07-24 12:53:50 · 11356 阅读 · 0 评论 -
Region拆分逻辑
Table of ContentsRegion拆分拆分前提获取拆分点执行拆分回滚操作Region拆分Region的拆分逻辑是通过CompactSplitThread线程的requestSplit方法来触发的,每当执行MemstoreFlush操作时都会调用该方法进行判断,看是否有必要对目标Region进行拆分。拆分前提Region可拆分的前提是需要满足如下约束条件:目标RegionServer的线原创 2015-08-28 10:21:20 · 7734 阅读 · 0 评论 -
Region恢复逻辑
Table of ContentsRegion恢复逻辑配置参数Region恢复逻辑RegionServer出现宕机以后,其上部署的Region将会被Master重新分配处理,由于在宕机前,某些Region的memStore数据可能还没有做flush操作,因此,需要对这部分数据做还原处理,还原过程通过读取HLog文件来实现。截至到目前为止(1.原创 2015-07-31 10:15:24 · 3245 阅读 · 0 评论 -
HBase之Java API
1.Configuration在使用Java API时,Client端需要知道HBase的配置环境,如存储地址,zookeeper等信息。这些信息通过Configuration对象来封装,可通过如下代码构建该对象 Configuration config=HBaseConfiguration.create();在调用HBaseConfiguration.create(原创 2012-01-30 17:15:39 · 20850 阅读 · 2 评论 -
HBase之数据模型(DataModel)
HBase基于Google的BigTable构建,是一种column-orientednosql数据库1.模型视图1.1概念视图从概念模型上看,HBase的存储逻辑同关系数据库类似,是基于Table的存储,存储视图如图所示:图中列出了表格的一条记录,com.cnn.www是该记录的主键,contents:、anchor:cnnsi.com和anchor:my.look.ca原创 2012-01-12 16:23:08 · 4855 阅读 · 1 评论 -
HBase之体系结构(Architecture)
HBase在分布式部署上采用master/slave的方式,主要包含3大功能组件,分别是:RegionServer、MasterServer和ClientLibrary在分布式存储上使用的是Hadoop的HDFS子框架分布式计算功能基于Hadoop的MapReduce实现1.RegionRegion作为HBase的分布式存储单元包含了一组Row,这些Row的key值在索引排序上是连原创 2012-01-13 09:02:20 · 4059 阅读 · 0 评论 -
HBase之功能细节
1.Region定位在Google的BigTable体系中,tablet的存储地址通过3层目录结构来定位的,如图所示:注:tablet等同与HBase中的Region图释说明:(1)METADATATableMETADATATable是系统预定义的Table,当用户自定义表格被拆分成多个tablet之后,METADATA Table用来存储这些tablet的地址原创 2012-01-14 11:49:44 · 5449 阅读 · 2 评论 -
HFile存储格式
Table of ContentsHFile存储格式Block块结构HFile存储格式HFile是参照谷歌的SSTable存储格式进行设计的,所有的数据记录都是通过它来完成持久化,其内部主要采用分块的方式进行存储,如图所示:每个HFile内部包含多种不同类型的块结构,这些块结构从逻辑上来讲可归并为两类,分别用于数据存储和数据索引(简称数据块和索引块),其中数据块包括:(1) DATA_BLOCK:原创 2015-08-21 14:10:00 · 9031 阅读 · 1 评论