学习笔记(4-6章)
本博客内容基本整理自《Hbase原理与实践》一书。仅用于个人学习和积累。
1.Hbase客户端
Hbase客户端主要有如下几种形式:
- 1.HBase提供了面向Java、C/C++、Python等多种语言的客户端。
- 2.非Java语言的客户端需要先访问ThriftServer,然后通过ThriftServer的Java HBase客户端来请求HBase集群
- 3.第三方团队实现了其他一些HBase客户端,例如OpenTSDB团队使用的asynchbase和gohbase等
- 4.HBase也支持Shell交互式客户端。Shell客户端实质是用JRuby(用Java编写的Ruby解释器,方便Ruby脚本跑在JVM虚拟机上)脚本调用官方HBase客户端来实现的。
1.1.定位Meta表
HBase一张表的数据是由多个Region构成,而这些Region是分布在整个集群的RegionServer上的。那么客户端在做任何数据操作时,都要先确定数据在哪个Region上,然后再根据Region的RegionServer信息,去对应的RegionServer上读取数据。而hbase:meta表就是专门用来存放整个集群所有的region信息。
客户端定位Region示意图:
1.1.1.解决热点Region问题
把hbase:meta表的Region信息缓存在HBase客户端。HBase客户端有一个叫做MetaCache的缓存,在调用HBase API时,客户端会先去MetaCache中找到业务rowkey所在的Region。
1.2.Hbase常见超时参数
hbase.rpc.timeout:
表示单次RPC请求的超时时间,一旦单次RPC超过该时间,上层将收到TimeoutException。默认为60000ms。hbase.client.retries.number:
表示调用API时最多容许发生多少次RPC重试操作。默认为35次。hbase.client.pause:
表示连续两次RPC重试之间的休眠时间,默认为100ms。hbase.client.operation.timeout:
表示单次API的超时时间,默认值为1200000ms
2.RegionServer核心模块
RegionServer是HBase系统中最核心的组件,主要负责用户数据写入、读取等基础操作。RegionServer组件实际上是一个综合体系,包含多个各司其职的核心模块:HLog、MemStore、HFile以及BlockCache。
2.1.内部结构
一个RegionServer由一个(或多个)HLog、一个BlockCache以及多个Region组成。如下图所示:
2.1.1.HLog
HBase中系统故障恢复以及主从复制都基于HLog实现。
HBase提供了如下命令查看HLog文件的内容:
~