Hbase底层原理简介（二）

问题背景

项目中使用了Hbase，来了解一下底层

Hbase写流程

1 Client先访问zookeeper，获取hbase:meta表位于哪个Region Server
2 访问对应的Region Server，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问
3 与目标Region Server进行通讯
4 将数据顺序写入（追加）到WAL
5 将数据写入对应的MemStore，数据会在MemStore进行排序
6 向客户端发送ack
7 等达到MemStore的刷写时机后，将数据刷写到HFile

Hbase刷写时机

1. 当某个memstore的大小达到了hbase.hregion.memstore.flush.size（默认值128M），其所在region的所有memstore都会刷写

当memstore的大小达到了
hbase.hregion.memstore.flush.size（默认值128M）
hbase.hregion.memstore.block.multiplier（默认值4）
时，会阻止继续往该memstore写数据

2. 当region server中memstore的总大小达到

java_heapsize
hbase.regionserver.global.memstore.size（默认值0.4）
hbase.regionserver.global.memstore.size.lower.limit（默认值0.95）

region会按照其所有memstore的大小顺序（由大到小）依次进行刷写。直到region server中所有memstore的总大小减小到上述值以下
3. 当region server中memstore的总大小达到

java_heapsize
hbase.regionserver.global.memstore.size（默认值0.4）

会阻止继续往所有的memstore写数据

3. 到达自动刷写的时间，也会触发memstore flush。自动刷新的时间间隔由该属性进行配置hbase.regionserver.optionalcacheflushinterval（默认1小时）

4. 当WAL文件的数量超过hbase.regionserver.max.logs，region会按照时间顺序依次进行刷写，直到WAL文件数量减小到hbase.regionserver.max.logs以下（该属性名已经废弃，现无需手动设置，最大值为32）

Hbase读流程

1 Client先访问zookeeper，获取hbase:meta表位于哪个Region Server
2 访问对应的Region Server，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问
3 与目标Region Server进行通讯
4 分别在MemStore和Store File（HFile）中查询目标数据，并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本（time stamp）或者不同的类型（Put/Delete）
5 将查询到的新的数据块（Block，HFile数据存储单元，默认大小为64KB）缓存到Block Cache
6 将合并后的最终结果返回给客户端

RowKey设计

1 一条数据的唯一标识就是rowkey，那么这条数据存储于哪个分区，取决于rowkey处于哪个一个预分区的区间内，设计rowkey的主要目的 ，就是让数据均匀的分布于所有的region中，在一定程度上防止数据倾斜

• 生成随机数、hash、散列值
• 字符串拼接

作为程序员第 231 篇文章，每次写一句歌词记录一下，看看人生有几首歌的时间，wahahaha …

Lyric： 我们都在等雨停

这是第8首歌，已经完结了，你们猜出歌名了吗？

• 歌名：哪里都是你
• 歌手：周杰伦
• 歌词：周杰伦
• 专辑：十二星座