数仓知识12：PostgreSQL预写日志(WAL)和逻辑解码方案

维克先生

已于 2022-09-19 21:19:47 修改

阅读量1.4k

点赞数

分类专栏：数据仓库文章标签： postgresql 数据库 etl big data 数据仓库

于 2022-09-19 21:17:05 首次发布

本文链接：https://blog.csdn.net/weixin_42009408/article/details/126942259

版权

数据仓库专栏收录该内容

13 篇文章 32 订阅

订阅专栏

PostgreSQL预写日志（WAL）

PostgreSQL逻辑解码（Logical Decoding）

逻辑解码方案研究分析

PostgreSQL预写日志（WAL）

从PostgreSQL 9.4.26版本开始，PostgreSQL 开始支持预写日志记录（Write-Ahead Logging）。WAL的核心概念：在写入对数据文件（表和索引所在的位置）的更改时，将描述更改的日志记录刷新到永久存储。和Oracle的REDO Log是类似的逻辑。

有两种记录日志的逻辑：

同步提交：服务器等待事务的WAL记录刷新到永久存储，然后向客户端返回成功指示，可确保所有写入到数据库里的数据，都有其对应的日志记录。。
异步提交：一旦事务在逻辑上完成，服务器就会在它生成的WAL记录实际进入磁盘之前立即返回成功。

同步提交可以保证客户端保留已提交的事务，即使在之后立即发生服务器崩溃也可以恢复。

异步提交的优点是事务可以更快地完成，但是有数据丢失的风险。如果数据库在异步提交和写入事务的WAL记录之间的风险时段内崩溃，则在该事务期间所做的更改将丢失。

注：恢复数据记录时，重播WAL是按照提交顺序重放的，因此不会引入不一致。

官方介绍：PostgreSQL：文档：9.4：可靠性和预写日志

PostgreSQL逻辑解码（Logical Decoding）

PostgreSQL在9.4版本中加入了逻辑解码。逻辑解码是将数据库表的所有持久更改提取为一致的、易于理解的格式的过程，该格式可以在不详细了解数据库内部状态的情况下进行解释。在PostgreSQL中，逻辑解码是通过将预写日志（WAL）的内容（描述存储级别的更改）解码为特定于应用程序的形式（如元组流或SQL语句）来实现的。

逻辑解码的过程：

当 Postgres 表中的某一行发生更改时，该更改将记录在 WAL 中。如果启用了逻辑解码，则该更改的记录将传递到输出插件。输出插件将该记录从WAL格式更改为插件的格式（例如JSON对象）。然后，重新格式化的更改通过复制槽退出 PostgreSQL。最后，还有消费者。消费者是您选择的连接到Postgres并接收逻辑解码输出的任何应用程序。