pgbackrest的备份过程

最新推荐文章于 2024-10-30 18:07:32 发布

喝醉酒的小白

最新推荐文章于 2024-10-30 18:07:32 发布

阅读量854

点赞数 22

分类专栏： PG 文章标签：运维

本文链接：https://blog.csdn.net/hezuijiudexiaobai/article/details/142547270

版权

PG 专栏收录该内容

159 篇文章 37 订阅

订阅专栏

目录标题

https://www.modb.pro/db/592200

备份

全量备份（Full Backup）

在2023年5月9日14:08:53时，系统执行了全量备份操作。具体步骤如下：

检查 stanza 是否存在：
- 系统首先检查 stanza 是否存在。如果不存在，则尝试创建 stanza。
- 日志显示：time="2023-05-09T14:08:53+08:00" level=info msg="stanza not exist, try to create stanza db"
创建 stanza：
- 系统执行 pgbackrest stanza-create 命令来创建 stanza。
- 日志显示：time="2023-05-09T14:08:53+08:00" level=info msg="pgbackrest command is: [pgbackrest stanza-create --no-online --log-level-console=info]"
初始化备份仓库：
- 系统初始化备份仓库。
- 日志显示：time="2023-05-09T14:08:53+08:00" level=info msg="backup repo initialized"
执行全量备份：
- 系统执行 pgbackrest backup --type=full 命令进行全量备份。
- 日志显示：time="2023-05-09T14:08:53+08:00" level=info msg="pgbackrest command is: [pgbackrest backup --type=full --pg1-socket-path=/tmp --log-level-console=info --archive-timeout=1800 --no-expire-auto --start-fast --compress-type=gz --compress-level=6 --process-max=2]"

增量备份（Incremental Backup）

在2023年7月6日15:16:19时，系统执行了增量备份操作。具体步骤如下：

检查 stanza 是否存在：
- 系统首先检查 stanza 是否存在。如果不存在，则尝试创建 stanza。
- 日志显示：time="2023-07-06T15:16:19+08:00" level=info msg="pgbackrest command is: [pgbackrest info --output=json]"
初始化备份仓库：
- 系统初始化备份仓库。
- 日志显示：time="2023-07-06T15:16:14+08:00" level=info msg="backup repo initialized"
执行增量备份：
- 系统执行 pgbackrest backup --type=incr 命令进行增量备份。
- 日志显示：time="2023-07-06T15:16:14+08:00" level=info msg="pgbackrest command is: [pgbackrest backup --type=incr --pg1-socket-path=/tmp --log-level-console=info --archive-timeout=1800 --no-expire-auto --start-fast --compress-type=gz --compress-level=6 --process-max=2]"

总结

全量备份：系统首先检查并创建 stanza，然后初始化备份仓库，最后执行全量备份。
增量备份：系统同样检查并创建 stanza，然后初始化备份仓库，最后执行增量备份。

这些步骤确保了数据的安全性和高效备份，符合pgbackrest的特性，如并行备份、加密、存档管理等功能。

pgbackrest的全量备份和增量备份的具体工作原理是什么？

pgBackRest是一款专为PostgreSQL设计的开源备份工具，支持全量备份、增量备份和差异备份。以下是其全量备份和增量备份的具体工作原理：

全量备份（Full Backup）

全量备份是pgBackRest备份流程中的第一步，也是基础步骤。它将数据库群集的全部内容复制到备份中。这意味着pgBackRest会扫描整个数据库，并将所有数据对象的内容完整地复制到备份存储介质中。第一次对数据库群集进行的备份总是全量备份，因为这是建立备份基线的必要步骤。

全量备份的一个重要特点是它不依赖于任何外部文件来保证一致性，因此可以直接用于恢复。pgBackRest通过内部实现所有备份功能，并使用自定义协议来与远程系统进行通信，从而避免了对传统备份工具如tar和rsync的依赖。

增量备份（Incremental Backup）

增量备份只复制自上次备份以来更改过的数据对象。这意味着pgBackRest在执行增量备份时，会记录上次备份后数据库中发生变化的数据块或文件，并仅将这些变化的部分复制到新的备份中。这样可以显著减少备份所需的时间和存储空间，因为只需要处理那些实际发生变化的数据部分。

与差异备份类似，增量备份也依赖于其他备份才能有效地恢复。如果需要恢复到某个特定时间点，必须先恢复最近的全量备份，然后再应用所有后续的增量备份。

工作原理总结

全量备份：pgBackRest会扫描整个数据库，并将所有数据对象的内容完整地复制到备份存储介质中。这是建立备份基线的必要步骤，且不需要依赖外部文件来保证一致性。
增量备份：pgBackRest记录自上次备份以来数据库中发生变化的数据块或文件，并仅将这些变化的部分复制到新的备份中。这大大减少了备份所需的时间和存储空间。

如何配置pgbackrest以优化备份性能和存储空间使用？

为了优化pgBackRest的备份性能和存储空间使用，可以采取以下措施：

配置缓冲区大小：通过设置buffer-size参数来优化性能。缓冲区大小直接影响到数据传输和处理的速度，因此根据实际需求调整缓冲区大小是必要的。
选择合适的压缩类型：使用compress-type=gz选项来指定使用gzip压缩。这有助于减少存储空间的占用，同时保持较快的备份速度。
利用并行处理：pgBackRest支持并行处理，可以通过设置--process-max选项来控制并行处理的最大进程数。通常建议不要使用超过可用CPU的25%用于备份命令，以避免对系统性能产生负面影响。
配置归档模式：在PostgreSQL服务器上设置archive_mode=ON，以确保启用归档模式，这是pgBackRest成功运行的必要条件。
创建和配置pgBackRest配置文件：创建一个pgBackRest配置文件，并将其放置在适当的位置（例如/etc/pgbackrest/pgbackrest.conf ），以便PostgreSQL集群能够识别并使用该配置文件进行备份和恢复操作。
设置合理的备份保留策略：根据业务需求设置合理的备份保留策略，例如每周一次全量备份和每天一次差异备份，以确保数据的安全性和可用性。

pgbackrest支持哪些加密方法，以及如何配置这些加密方法？

pgBackRest支持多种加密方法，以确保备份数据的安全性。以下是pgBackRest支持的加密方法及其配置方式：

SSE-C（Server-Side Encryption with Customer Keys）：
- 支持：pgBackRest支持S3 SSE-C加密。
- 配置：在配置pgBackRest时，可以通过定义加密类型及密码来实现SSE-C加密。具体配置步骤如下：

     pgbackrest --stanza=demo --log-level-console=info config set s3-加密类型 customer-aws4-hmac-sha256
     pgbackrest --stanza=demo --log-level-console=info config set s3-访问密钥id <your-access-key-id>
     pgbackrest --stanza=demo --log-level-console=info config set s3-秘密访问密钥 <your-secret-access-key>

TLS（Transport Layer Security）：
- 支持：pgBackRest支持通过TLS进行安全连接，作为SSH的替代方案。
- 配置：在配置pgBackRest时，可以启用TLS连接。具体配置步骤如下：

     pgbackrest --stanza=demo --log-level-console=info config set repository-加密类型 tls
     pgbackrest --stanza=demo --log-level-console=info config set repository-tls-证书路径 <path-to-tls-certificate>
     pgbackrest --stanza=demo --log-level-console=info config set repository-tls-密钥路径 <path-to-tls-key>

其他加密方法：
- 支持：pgBackRest还支持其他形式的加密备份。
- 配置：通过定义加密类型及密码，来保证备份数据的存储安全性。具体配置步骤如下：

     pgbackrest --stanza=demo --log-level-console=info config set 加密类型 <your-encryption-type>
     pgbackrest --stanza=demo --log-level-console=info config set 加密密码 <your-encryption-password>

在pgbackrest备份过程中，如何处理和恢复数据库的故障？

在pgBackRest备份过程中，处理和恢复数据库的故障可以通过以下步骤进行：

初始化新集群时使用-k选项：在初始化新集群时，必须使用-k选项。这将启用pgBackRest在每次备份时验证的页面校验和。如果检测到损坏，则可以尽早纠正。
恢复旧备份并执行恢复：如果检测到损坏，不要惊慌失措！只要有未损坏的旧备份存在，可以选择恢复旧备份并执行恢复。
从备份中检索受损数据：另一种选择是从备份中检索受损数据，并将其加载到主数据库中。
确保存储库、基础备份和WAL文件存储在与数据库服务器分离的可靠文件系统中：在使用pgBackRest时，应确保将存储库、基础备份和WAL文件存储在与数据库服务器分离的可靠文件系统中。此外，外部存储系统应仅向必要的系统管理员开放。
对任何备份/恢复解决方案进行严格测试：必须对任何备份/恢复解决方案进行严格测试，以确保其成功恢复。
防止pgBackRest在系统上运行：有时，防止pgBackRest在系统上运行是很有必要的。例如，当主库故障转移到备库时，最好同时停止pgBackRest在老主库节点上运行，以防PostgreSQL重启或者服务不能完全停止。

pgbackrest备份的并行处理机制是如何工作的？

pgBackRest的并行处理机制主要通过并行备份和恢复来提高性能，尤其是在处理大量数据时。根据，pgBackRest通过并行处理解决了备份期间压缩出现的瓶颈问题，这意味着在备份过程中，pgBackRest能够同时处理多个数据块或文件，从而加快了备份速度。进一步确认了pgBackRest支持并行备份和恢复，这表明在备份和恢复操作中，pgBackRest能够利用多核处理器的计算能力，将任务分配给多个线程或进程，以提高效率。

提供了更具体的细节，指出在使用pgBackRest进行备份时，前三步（可能包括数据的读取、压缩和传输）可以并行执行，这进一步证实了pgBackRest的并行处理能力。然而，也提到了一个潜在的瓶颈，即archiver process进程的处理速度可能落后于pgBackRest，这可能影响到备份的并行处理效率。

pgBackRest的并行处理机制通过在备份和恢复操作中同时处理多个数据块或文件，以及利用多核处理器的计算能力，来提高备份和恢复的效率。

清理

在pgBackRest中，expire选项用于根据定义的保留策略删除旧的备份和归档文件。具体来说，expire命令会根据配置文件中定义的保留策略（如保留的完整备份数量、归档文件数量等）来决定哪些备份和归档文件应该被删除。

具体作用

删除过期备份：当备份数量超过配置中定义的保留数量时，expire命令会自动删除最旧的备份，以确保只保留指定数量的最新备份。
删除依赖备份：如果某个备份依赖于其他备份（如差异备份或增量备份依赖于完整备份），这些依赖备份也会被删除。

使用方法

   pgbackrest --stanza=your_stanza_name expire

其中，--stanza参数指定要操作的备份集名称。

可以使用--dry-run选项来查看哪些备份将被删除，而不会实际执行删除操作。

   pgbackrest --stanza=your_stanza_name expire --dry-run

可以结合info命令来查看当前的备份状态，并根据需要手动调整保留策略。

注意事项

保留策略配置：在配置文件中，需要明确设置保留策略，如retention-full和retention-archive，以确保备份和归档文件的数量符合预期。
依赖关系：在删除备份时，pgBackRest会自动处理依赖关系，确保不会删除正在使用的备份。
空间管理：确保有足够的空间来存储保留的备份和归档文件，通常建议保留一个额外的备份作为缓冲。

通过合理配置和使用expire选项，可以有效地管理PostgreSQL数据库的备份和归档文件，确保备份系统的可靠性和可维护性。