Hbase WAL原理学习

1.概述
客户端往RegionServer端提交数据的时候，会写WAL日志，只有当WAL日志写成功以后，客户端才会被告诉提交数据成功，如果写WAL失败会告知客户端提交失败，换句话说这其实是一个数据落地的过程。在一个RegionServer上的所有的Region都共享一个HLog，一次数据的提交是先写WAL，再写memstore，示意图如下
[img]http://dl.iteye.com/upload/attachment/578389/a7d5caf3-4a46-32d3-9dd6-5bc545acffa8.jpg[/img]
2.HLog Class
WAL的实现类是HLog，当一个Region被初始化的时候，一个HLog的实例会作为构造函数的参数传进去。当Region在处理Put、Delete等更新操作时，可以直接使用该共享的HLog的append方法来落地数据。Put、Delete在客户端上可以通过setWriteToWAL(false)方法来关闭该操作的日志，这么做虽然可以提升入库速度，但最好别这么做，因为有数据丢失的风险存在。
HLog的另一个重要功能是跟踪变化，这个通过sequence number来实现。sequence number作为HFile里的一个元数据字段，它用来跟踪哪些日志是已经持久化了的，哪些还在内存中。（注：通过对源码的分析，这种变化因为每个Region是不一样的，所以在HLog的日志里是记录了多条，是针对于每个Region来记录的，把该Region的最后一次持久化的seqId作为一条日志写入HLog，这样，比该seqId小的数据就是已经持久化过的了。）（照这种分析，在HLog replay的过程中，岂不是从后往前replay日志更方便么？有待学习replay的实现方式来验证）

[img]http://dl.iteye.com/upload/attachment/581329/8ba64d69-4bdf-3eb0-98e8-68196e9bee1f.gif[/img]
这个图表明同一个RegionServer上的三个Region共享一个HLog，因此当它们写数据时，是把<HLogKey,WALEdit>这个的数据对按顺序混合的写到HLog上的，以获得最好的写入速度。
3.HLogKey Class
WAL现在是通过Hadoop的SequenceFile来存储key/value集合。value简单的存储了来自客户端的数据如row key, column family, column qualifier, timestamp, type, and value；而HLogKey则存储了the region and table name、还有更新时间、sequence number和cluster ID,cluster ID用于将日志复制到集群里的其他机器上。
4.WALEdit Class
来自客户端的更新数据的请求被封装到WALEdit类上。这个类把对row数据的修改原子化。(怎么原子化的还得看源码)
5.LogSyncer Class
Table在创建的时候，有一个参数可以设置，是否每次写Log日志都需要往集群里的其他机器同步一次，默认是每次都同步，同步的开销是比较大的，但不及时同步又可能因为机器宕而丢日志。
Pipeline vs. n-Way Writes
同步的操作现在是通过Pipeline的方式来实现的，Pipeline是指datanode接收数据后，再传给另外一台datanode，是一种串行的方式；n-Way Writes是指多datanode同时接收数据，最慢的一台结束就是整个结束。差别在于一个延迟大，一个并发高，hdfs现在正在开发中，以便可以选择是按Pipeline还是n-Way Writes来实现写操作。
Table如果设置每次不同步，则写操作会被RegionServer缓存，并启动一个LogSyncer线程来定时同步日志，定时时间默认是一秒也可由hbase.regionserver.optionallogflushinterval设置
未完待续