hbasehlog_HBase原理--RegionServer核心组件之HLog

RegionServer是HBase系统中最核心的组件，主要负责用户数据写入、读取等基础操作。RegionServer组件实际上是一个综合体系，包含多个各司其职的核心模块：HLog、MemStore、HFile以及BlockCache。

RegionServer内部结构

RegionServer是HBase系统响应用户读写请求的工作节点组件，由多个核心模块组成，其内部结构如图所示。

一个RegionServer由一个(或多个)HLog、一个BlockCache以及多个Region组成。其中，HLog用来保证数据写入的可靠性；BlockCache可以将数据块缓存在内存中以提升数据读取性能；Region是HBase中数据表的一个数据分片，一个RegionServer上通常会负责多个Region的数据读写。一个Region由多个Store组成，每个Store存放对应列簇的数据，比如一个表中有两个列簇，这个表的所有Region就都会包含两个Store。每个Store包含一个MemStore和多个HFile，用户数据写入时会将对应列簇数据写入相应的MemStore，一旦写入数据的内存大小超过设定阈值，系统就会将MemStore中的数据落盘形成HFile文件。HFile存放在HDFS上，是一种定制化格式的数据存储文件，方便用户进行数据读取。

HLog

HBase中系统故障恢复以及主从复制都基于HLog实现。默认情况下，所有写入操作(写入、更新以及删除)的数据都先以追加形式写入HLog，再写入MemStore。大多数情况下，HLog并不会被读取，但如果RegionServer在某些异常情况下发生宕机，此时已经写入MemStore中但尚未f lush到磁盘的数据就会丢失，需要回放HLog补救丢失的数据。此外，HBase主从复制需要主集群将HLog日志发送给从集群，从集群在本地执行回放操作，完成集群之间的数据复制。

HLog文件结构

HLog文件的基本结构如图所示。

说明如下：

•每个RegionServer拥有一个或多个HLog(默认只有1个，1.1版本可以开启MultiWAL功能，允许多个HLog)。每个HLog是多个Region共享的，图中Region A、Region B和Region C共享一个HLog文件。

•HLog中，日志单元WALEntry(图中小方框)表示一次行级更新的最小追加单元，它由HLogKey和WALEdit两部分组成，其中HLogKey由table name、region name以及sequenceid等字段构成。

WALEdit用来表示一个事务中的更新集合，在0.94之前的版本中，如果一个事务对一行row R三列c1、c2、c3分别做了修改，那么HLog中会有3个对应的日志片段，如下所示：

然而，这种日志结构无法保证行级事务的原子性，假如RegionServer更新c2列之后发生宕机，那么一行记录中只有部分数据写入成功。为了解决这样的问题，HBase将一个行级事务的写入操作表示为一条记录，如下所示：

其中，WALEdit会被序列化为格式，比如，-1为标识符，表示这种新的日志结构。

HLog文件存储

HBase中所有数据(包括HLog以及用户实际数据)都存储在HDFS的指定目录(假设为hbase-root)下，可以通过hadoop命令查看hbase-root目录下与HLog有关的子目录，如下所示：

其中，/hbase/WALs存储当前还未过期的日志；/hbase/oldWALs存储已经过期的日志。可以进一步查看/hbase/WALs目录下的日志文件，如下所示：

/hbase/WALs目录下通常会有多个子目录，每个子目录代表一个对应的RegionServer。以hbase17.xj.bjbj.org,60020,1505980274300为例，hbase17.xj.bjbj.org表示对应的RegionServer域名，60020为端口号，1505980274300为目录生成时的时间戳。每个子目录下存储该RegionServer内的所有HLog文件，如下所示：

HLog文件为：

HLog生命周期

HLog文件生成之后并不会永久存储在系统中，它的使命完成后，文件就会失效最终被删除。HLog整个生命周期如图所示。

HLog生命周期包含4个阶段：

1)HLog构建：HBase的任何写入(更新、删除)操作都会先将记录追加写入到HLog文件中。

2)HLog滚动：HBase后台启动一个线程，每隔一段时间(由参数'hbase.regionserver. logroll.period'决定，默认1小时)进行日志滚动。日志滚动会新建一个新的日志文件，接收新的日志数据。日志滚动机制主要是为了方便过期日志数据能够以文件的形式直接删除。

3)HLog失效：写入数据一旦从MemStore中落盘，对应的日志数据就会失效。为了方便处理，HBase中日志失效删除总是以文件为单位执行。查看某个HLog文件是否失效只需确认该HLog文件中所有日志记录对应的数据是否已经完成落盘，如果日志中所有日志记录已经落盘，则可以认为该日志文件失效。一旦日志文件失效，就会从WALs文件夹移动到oldWALs文件夹。注意此时HLog并没有被系统删除。

4)HLog删除：Master后台会启动一个线程，每隔一段时间(参数'hbase.master.cleaner. interval'，默认1分钟)检查一次文件夹oldWALs下的所有失效日志文件，确认是否可以删除，确认可以删除之后执行删除操作。确认条件主要有两个：

•该HLog文件是否还在参与主从复制。对于使用HLog进行主从复制的业务，需要继续确认是否该HLog还在应用于主从复制。

•该HLog文件是否已经在OldWALs目录中存在10分钟。为了更加灵活地管理HLog生命周期，系统提供了参数设置日志文件的TTL(参数'hbase.master.logcleaner.ttl'，默认10分钟)，默认情况下oldWALs里面的HLog文件最多可以再保存10分钟。

文章基于《HBase原理与实践》一书