高并发利器WAL顺序写

最新推荐文章于 2024-07-09 14:30:00 发布

扫大街的程序员

最新推荐文章于 2024-07-09 14:30:00 发布

阅读量1.9k

点赞数 2

分类专栏： hadoop&hive

本文链接：https://blog.csdn.net/moon_yang_bj/article/details/90750246

版权

hadoop&hive 专栏收录该内容

23 篇文章 2 订阅

订阅专栏

WAL机制

事物日志可以帮助提高事物的效率。使用事物日志，存储引擎在修改标的数据时只需要修改其内存拷贝，再把修改行为记录到持久在硬盘上的事务日志中，而不用每次都将修改的数据本身持久到磁盘中。事物日志采用的是追加的方式，因此写日志的操作是磁盘上一小块区域内的顺序I/O，而不像随机I/O需要在磁盘的多个地方移动磁头，所以采用事物日志的方式相对来说要快得多。事务日志持久以后，内存中被修改的数据在后台可以慢慢地刷回磁盘。目前大多数的存储引擎都是这样实现的，我们通常称为预写式日志（Write-Ahead Logging），修改数据需要写两次磁盘。

Mysql InnoDB WAL

InnoDB的底层数据结构是B+树， WAL机制是通过redo log实现的，redo log 是固定大小的物理日志，比如可以配置为一组 4 个文件，每个文件的大小是 1GB，总共就可以记录 4GB 的操作。从头开始写，写到末尾就又回到开头循环写，如下面这个图所示。

write pos 是当前记录的位置，一边写一边后移，写到第 3 号文件末尾后就回到 0 号文件开头。checkpoint 是当前要擦除的位置，也是往后推移并且循环的，擦除记录前要把记录更新到数据文件。

write pos 和 checkpoint 之间的是“粉板”上还空着的部分，可以用来记录新的操作。如果 write pos 追上 checkpoint，表示“粉板”满了，这时候不能再执行新的更新，得停下来先擦掉一些记录，把 checkpoint 推进一下。

有了 redo log，InnoDB 就可以保证即使数据库发生异常重启，之前提交的记录都不会丢失，这个能力称为crash-safe。

Hbase WAL log

Hbase的底层数据结构是LSM树，WAl机制是通过内存数据结构RingBuffer、物理日志Hlog实现。

客户端的每一个修改都封装到KeyValue对象实例中，并通过RPC调用发送到含有匹配Region的HRegionServer。一旦KeyValue到达，它们就会被发送管理相应行的HRegion实例。数据被并发写到RingBuffer，然后有异步单线程消费刷文件HLOG；再然后被放入到实际拥有记录的存储文件的MemStore中。同时还会检查MemStore是否满了，如果满了就会被刷写到磁盘中去。