HBase读写机制和物理模型

写机制

执行写入时会写到两个地方:write ahead logMemStore,保证数据的持久化。

MemStore是内存中的写入缓冲区,数据在永久写入硬盘前在此积累,当其填满时(可以由hbase.hregion.memstore.flush.size定义),数据会被刷写到硬盘,生成一个HFile。
在集群的每一个节点上,每个列族都有一个MemStore

由于MemStore是在内存中的,具有易失性,所以还需要WAL。
每台服务器维护一个WAL来记录发生的变化。如果服务器宕机,没有从MemStore刷写到硬盘的数据可以通过回放WAL来恢复

读机制

类似于MemStore,HBase在读的时候也维护一个内存的缓存区,基于LRU算法的BlockCache,用来保存从HFile里读入内存的频繁访问的数据。它和MemStore在同一个JVM堆里,所以类似的,每个列族都有一个BlockCache

Block是HBase从硬盘完成一次读取的数据单位,类似于操作系统中文件系统的block。
HFile的物理存放模式是:一个Block的序列 + 这些block的索引。所以,从HFile读取一个Block时需要先在索引上查找一次该block然后从硬盘读出。

block大小是可设置的。

  • 对于主要用于随机访问,可采用细粒度的block,这样索引表变大,但是数据传输量变小。
  • 对于主要用于顺序扫描,一次读取多个block,可设置大点。

从HBase读取一行,首先从MemStore检查待修改的队列,然后检查BlockCache看包含该行的block最近是否被访问过,最后才访问HFile

数据删除与合并

HBase可以删除一行,也可以指定坐标删除一个或多个cell,但是删除命令并不立即删除硬盘上的内容,只是打上标记,用来标记不能在Get和Scan中返回结果。直到进行一次大合并,才会被处理,释放空间。

合并分为大合并小合并

  • 小合并把多个HFile(部分而不是全部)合并成一个大HFile。因为读取一行可能引用很多文件,所以限制HFile对读性能很重要
  • 大合并将处理给定region的一个列族的所有HFile。该列族的所有HFile合并为一个文件。可以从shell触发大合并,但非常消耗资源,不要经常使用。

物理模型:面向列族

每台服务器上每个列族在硬盘上有自己的HFile集合

HBase 物理模型

HFile中,每条记录是一个坐标-值的键值对
(row, columnFamily, qualifier, timestamp)-> value
文件中没有空记录,如果值没有数据,HBase不会存储任何东西,这和关系型数据库可以存储Null不同。

一行中的一个列族的数据不一定放在一个HFile里,但是,一行中列族的数据需要物理地存放在一起,即某行的所有数据在一个Region中管理

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页