PostgreSQL——逻辑复制

司元

已于 2024-09-10 10:36:54 修改

阅读量862

点赞数 24

分类专栏： PostgreSQL 文章标签： postgresql oracle 数据库

于 2024-09-10 10:20:40 首次发布

本文链接：https://blog.csdn.net/L1758/article/details/142085736

版权

4 篇文章 0 订阅

订阅专栏

PostgreSQL的逻辑复制（Logical Replication）是一种数据复制技术，允许数据库之间复制特定表或数据流，而不仅仅是物理复制的整个数据库块。与物理复制不同，逻辑复制是基于SQL层的，并且能够实现更精细的数据同步控制。其核心原理如下：

逻辑复制采用发布-订阅模型：

发布者（Publisher）：
- 发布者是提供数据复制源的PostgreSQL实例。它定义了一个或多个“发布”（Publication），并包含需要同步到其他数据库的表或数据变更。发布者通过逻辑复制槽（Logical Replication Slot）将数据变更转换为逻辑变更流并发送给订阅者。
- 发布内容可以包括INSERT、UPDATE、DELETE操作。
订阅者（Subscriber）：
- 订阅者是从发布者接收数据并将其应用到自身数据库的PostgreSQL实例。它通过订阅（Subscription）来连接到发布者，并从发布者那里订阅逻辑变更流。
- 订阅者接收到的数据可以被实时应用到其数据库中的表上，也可以通过应用触发器或其它自定义逻辑进一步处理这些变更。

通过这种模型，用户可以选择只复制某些表，而不是整个数据库实例的所有内容，也就是发布者和订阅者之间进行双向通信，多个订阅者也可以同时订阅一个发布者。

WAL机制确保在数据修改之前，将变更写入日志，以防止在崩溃后数据丢失。逻辑复制通过解析WAL日志获取逻辑操作，而物理复制则传递整个WAL日志。

PostgreSQL中的逻辑复制依赖于逻辑复制插件（如 pgoutput），该插件能够解析WAL日志并将物理操作转换为逻辑变更流（SQL语句级别的变更）。

逻辑复制的工作流程可以分为以下几个步骤：

当初始快照传输完毕后，发布者将持续监控这些表的变更，并将每个变更记录到WAL日志中。逻辑复制插件会解析WAL日志，提取逻辑变更（INSERT、UPDATE、DELETE），并将这些变更打包成逻辑复制流。

Publication（发布）：
发布是由发布者定义的数据变更集合。每个发布可以包括多个表，发布的表也可以是不同的表（并非整个数据库）。在定义发布时，可以选择复制特定的DML操作类型，如INSERT、UPDATE、DELETE，具体步骤如下：
- 使用命令 CREATE PUBLICATION 定义发布内容。例如：
```
CREATE PUBLICATION my_publication FOR TABLE my_table;
```
Subscription（订阅）：
订阅者通过订阅来指定需要从哪个发布者接收哪些发布。订阅者需要了解发布者的连接信息（主机名、端口、用户、数据库等）来建立连接并获取发布内容。订阅定义时，可以指定要从哪些发布中接收数据：
- 使用命令 CREATE SUBSCRIPTION 创建订阅，例如：
```
CREATE SUBSCRIPTION my_subscription
CONNECTION 'dbname=mydb host=publisher_host user=rep_user'
PUBLICATION my_publication;
```
Logical Replication Slot（逻辑复制槽）:
逻辑复制槽是发布者端的机制，确保WAL（Write-Ahead Logging）日志中的变更保持可用，直到订阅者成功接收到这些变更。复制槽的核心作用是：
- 保证发布者保留特定的WAL日志，直到订阅者确认接收和处理了对应的逻辑变更。
- 防止在复制过程中丢失数据。
- 创建逻辑复制槽的命令为：
```
SELECT * FROM pg_create_logical_replication_slot('slot_name', 'output_plugin');
```