HBase之读写流程中WAL机制

WAL机制概述

WAL(Write-ahead logging)预写式日志, 为数据库系统提供原子性和持久化的一些列操作, 几乎在所有非内存数据库都会使用. WAL机制不仅可以提升写性能, 还可以保证数据可靠性.

WAL关键点在于先写日志再写磁盘。 在数据写入之前首先顺序写入日志，然后再写入缓存，等到缓存写满之后统一落盘。

在对数据页进行修改时, 通过将"修改了什么"这个操作记录在日志中, 而不必马上将更改内容刷新到磁盘上, 从而将随机写转换为顺序写, 提高了性能. 但由此带来内存数据与磁盘数据不一致的问题, 详细内容参见:MySQL WAL(Write-Ahead Log)机制及脏页刷新

同时WAL可以保证数据的可靠性，即使所有缓存中的数据丢失，也可以通过恢复日志还原出丢失的数据。

HBase中的WAL机制

HBase的RegionServer在处理数据插入和删除的过程中, 会使用WAL预写日志, 数据会先数据会先写在一个叫做Write-Ahead logfile的文件中, 当WAL日志写成功以后，客户端会被告知提交数据成功, 而不是等到数据最终由memtore刷到磁盘上后才告知。另外在系统出现故障的时候，数据可以通过这个日志文件重建。

一个RegionServer上的所有Region共享一个WAL实例。WAL的实现类是HLog，当一个Region被初始化的时候，一个HLog的实例会作为构造函数的参数传进去。

每间隔hbase.regionserver.optionallogflushinterval(默认1s)， HBase会把操作从内存写入WAL。

WAL的检查间隔由hbase.regionserver.logroll.period定义，默认值为1小时。检查的内容是把当前WAL中的操作跟实际持久化到HDFS上的操作比较，看哪些操作已经被持久化了，被持久化的操作就会被移动到.oldlogs文件夹内（这个文件夹也是在HDFS上的）。一个WAL实例包含有多个WAL文件。WAL文件的最大数量通过hbase.regionserver.maxlogs（默认是32）参数来定义。

参考

MySQL WAL(Write-Ahead Log)机制及脏页刷新