《HBase原理与实践》阅读笔记(二)

本博客内容基本整理自《Hbase原理与实践》一书。仅用于个人学习和积累。

1.Hbase客户端

Hbase客户端主要有如下几种形式:

  • 1.HBase提供了面向Java、C/C++、Python等多种语言的客户端。
  • 2.非Java语言的客户端需要先访问ThriftServer,然后通过ThriftServer的Java HBase客户端来请求HBase集群
  • 3.第三方团队实现了其他一些HBase客户端,例如OpenTSDB团队使用的asynchbase和gohbase等
  • 4.HBase也支持Shell交互式客户端。Shell客户端实质是用JRuby(用Java编写的Ruby解释器,方便Ruby脚本跑在JVM虚拟机上)脚本调用官方HBase客户端来实现的。

1.1.定位Meta表

HBase一张表的数据是由多个Region构成,而这些Region是分布在整个集群的RegionServer上的。那么客户端在做任何数据操作时,都要先确定数据在哪个Region上,然后再根据Region的RegionServer信息,去对应的RegionServer上读取数据。而hbase:meta表就是专门用来存放整个集群所有的region信息。
客户端定位Region示意图:
在这里插入图片描述

1.1.1.解决热点Region问题

把hbase:meta表的Region信息缓存在HBase客户端。HBase客户端有一个叫做MetaCache的缓存,在调用HBase API时,客户端会先去MetaCache中找到业务rowkey所在的Region。

1.2.Hbase常见超时参数

  • hbase.rpc.timeout:表示单次RPC请求的超时时间,一旦单次RPC超过该时间,上层将收到TimeoutException。默认为60000ms。
  • hbase.client.retries.number:表示调用API时最多容许发生多少次RPC重试操作。默认为35次。
  • hbase.client.pause:表示连续两次RPC重试之间的休眠时间,默认为100ms。
  • hbase.client.operation.timeout:表示单次API的超时时间,默认值为1200000ms

2.RegionServer核心模块

RegionServer是HBase系统中最核心的组件,主要负责用户数据写入、读取等基础操作。RegionServer组件实际上是一个综合体系,包含多个各司其职的核心模块:HLog、MemStore、HFile以及BlockCache。

2.1.内部结构

一个RegionServer由一个(或多个)HLog、一个BlockCache以及多个Region组成。如下图所示:
在这里插入图片描述

2.1.1.HLog

HBase中系统故障恢复以及主从复制都基于HLog实现。
HBase提供了如下命令查看HLog文件的内容:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值