PostgreSQL开发与实战（5）备份管理pg_probackup

最新推荐文章于 2024-05-18 10:06:01 发布
最新推荐文章于 2024-05-18 10:06:01 发布
阅读量1.1k 收藏 28
点赞数 23
分类专栏： Postgresql开发与实战 文章标签： postgresql oracle 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43756308/article/details/136444775
版权

作者：太阳

一、pg_probackup概述

pg_probackup 是一款免费的postgres数据库集群备份工具，与其他备份工具相比，它主要有如下一些优势：

  • 提供增量备份，增量备份一定程度上可以节省磁盘空间的使用并且减少备份时间消耗
  • 可通过全量备份+增量备份进行增量恢复
  • 无需通过实际的数据恢复操作验证备份文件是否有效
  • Verification: on-demand verification of Postgres Pro instance with
    the checkdb command.
  • 可以通过设置恢复时间以及备份最大文件数来进行备份文件以及WAL归档日志的保留策略
  • 对于backup、restore、merge、delete、validate、checkdb操作都可开启并发线程执行
  • 提供压缩备份以节省磁盘空间
  • 可对远程实例进行备份恢复
  • 可从standby实例进行备份
  • 对于PGDATA外的目录数据（如：脚本、日志转储、sql dump 文件等），可使用参数额外指定进行备份
  • 可查看已备份数据备份以及归档的列表以及相关详细信息
  • 支持部分还原（还原部分数据库）

pg_probackup 下的几种备份方式：

  • 全量备份 ： 全量备份会将数据库集下所有的数据文件进行备份
  • 增量备份 ： 增量备份仅会备份上一次全量备份之后发生变更的数据，相对于全量备份其空间占用有了极大的缩减
  • DELTA模式 ： 在该模式下，pg_probackup会扫描所有的数据目录文件，然后将上一次备份后发生改变的数据页进行拷贝备份。这种模式下增量备份的IO消耗基本等同于全量备份。
  • PAGE模式 ： 在该模式下，pg_probackup仅会扫描备份上一次备份结束时刻之后的所有WAL归档日志。这种模式下的增量备份必须保证wal日志有设置合理的归档（wal_level > minimal 、archive_mode = on/always、archive_command 使用 pg_probackup进行archive-push 归档）。
  • PTRACK模式 ： 在该模式下pg_probackup
    会实时跟踪源备份实例端数据页的变化，对于距上一次备份后发生更新的数据页，将其记录在 bitmap
    中，以此来加快增量备份的时间。该模式下不需要关注WAL日志归档的设置，增量备份时间相对于DELTA更快，但是由于需要实时跟踪发生变化的数据页，所以对源端数据库服务器是有一定的资源消耗的。

pg_probackup 工具的一些局限性：

  • 仅支持Postgres Pro 9.5以上的版本
  • Windows系统不支持远程备份恢复
  • 在Unix系统在，如果数据库版本小于等于 Postgres Pro 10 ，只能通过与OS同账号的超级用户postgres进行备份。
  • 对于PostgreSQL 9.5版本数据库，进行备份的数据库账号必须具体superuser的角色，否则无法备份
    pg_create_restore_point(text) 、 pg_switch_xlog()
  • 备份工具与数据库 block_size 、 wal_block_size
    必须一致，否则无法备份（block_size、wal_block_size在安装包源码编译时设置）

二、安装部署

2.1 源码安装

1、下载安装包

# wget -c https://github.com/postgrespro/pg_probackup/archive/2.4.2.tar.gz
# tar xf 2.4.2.tar.gz
# cd pg_probackup-2.4.2/
# ll
总用量 176
drwxrwxr-x 2 root root   4096 7月   1 08:07 doc
-rw-rw-r-- 1 root root 128060 7月   1 08:07 Documentation.md
-rw-rw-r-- 1 root root   4976 7月   1 08:07 gen_probackup_project.pl
-rw-rw-r-- 1 root root   1200 7月   1 08:07 LICENSE
-rw-rw-r-- 1 root root   3962 7月   1 08:07 Makefile
-rw-rw-r-- 1 root root  13345 7月   1 08:07 README.md
drwxrwxr-x 3 root root   4096 7月   1 08:07 src
drwxrwxr-x 4 root root   4096 7月   1 08:07 tests
drwxrwxr-x 2 root root   4096 7月   1 08:07 travis

2、编译安装

# PG_CONFIG是我们pg_config程序所在路径，top_srcdir为postgres源码所在路径
# make USE_PGXS=1 PG_CONFIG=/usr/local/pgsql/bin/pg_config  top_srcdir=/usr/local/postgresql-12.2

# ll
总用量 612
drwxrwxr-x 2 root root   4096 7月   1 08:07 doc
-rw-rw-r-- 1 root root 128060 7月   1 08:07 Documentation.md
-rw-rw-r-- 1 root root   4976 7月   1 08:07 gen_probackup_project.pl
-rw-rw-r-- 1 root root   1200 7月   1 08:07 LICENSE
-rw-rw-r-- 1 root root   3962 7月   1 08:07 Makefile
-rwxr-xr-x 1 root root 445832 9月  22 21:55 pg_probackup            //编译后
-rw-rw-r-- 1 root root  13345 7月   1 08:07 README.md
drwxrwxr-x 3 root root   4096 9月  22 21:55 src
drwxrwxr-x 4 root root   4096 7月   1 08:07 tests
drwxrwxr-x 2 root root   4096 7月   1 08:07 travis

3、版本检查

# 查看版本
# ./pg_probackup --version
pg_probackup 2.4.2 (PostgreSQL 12.2)

2.2 rpm包安装部署

rpm -ivh https://repo.postgrespro.ru/pg_probackup/keys/pg_probackup-repo-centos.noarch.rpm
yum install pg_probackup-13
yum install pg_probackup-13-debuginfo

三、常用命令

初始化备份目录

$ pg_probackup init -B ${backup_dir}

添加实例

## 本地实例
pg_probackup  add-instance -B ${backup_dir} -D ${PGDATA} --instance ${instance_name}

## 添加远程实例
pg_probackup  add-instance -B ${backup_dir} -D ${PGDATA} --instance ${instance_name} --remote-prot=ssh --remote-host=${remote_ip} --remote-port=${remote_ssh_port} --remote-user=${remote_ssh_user} --remote-path=${pg_probackup_dir}

备份

## 本地实例全量备份
pg_probackup backup -B ${backup_dir} --instance ${instance_name} -b full

## 远程实例全量备份
pg_probackup backup -B ${backup_dir} --instance ${instance_name} --remote-user=${remote_ssh_user} --remote-host=${remote_ip} --remote-port=${remote_ssh_port} -b full

## 增量备份
pg_probackup backup -B -B ${backup_dir} --instance ${instance_name} -b page|detla|ptrack

恢复

## 根据备份集恢复
pg_probackup restore -B ${backup_dir} --instance ${instance_name} -i ${backup_id}
## 不完整恢复，恢复部分database
pg_probackup restore -B ${backup_dir} --instance ${instance_name} --db-include=${database_name1} --db-include=${database_name2}
## 按时间点恢复
pg_probackup restore -B ${backup_dir} --instance ${instance_name} --recovery-target-time='2020-09-22 22:49:34'
pg_probackup restore -B ${backup_dir} --instance ${instance_name} --recovery-target-xid='687'
pg_probackup restore -B ${backup_dir} --instance ${instance_name} --recovery-target-lsn='16/B374D848'
pg_probackup restore -B ${backup_dir} --instance ${instance_name} --recovery-target-name='before_app_upgrade'
pg_probackup restore -B ${backup_dir} --instance ${instance_name} --recovery-target='latest'
pg_probackup restore -B ${backup_dir} --instance ${instance_name} -recovery-target='immediate'

查看备份文件可用性

pg_probackup show -B ${backup_dir} --instance ${instance_name} -i ${backup_id}

查看备份详情

pg_probackup show -B ${backup_dir} --instance ${instance_name}  -i ${backup_id}
#Configuration
backup-mode = FULL                  //备份模式
stream = false                      //是否启用stream
compress-alg = none
compress-level = 1                  //压缩等级
from-replica = false
#Compatibility
block-size = 8192                   //blocksize
xlog-block-size = 8192
checksum-version = 0
program-version = 2.4.2
server-version = 12                 //PG Version
#Result backup info
timelineid = 1
start-lsn = 0/A000028
stop-lsn = 0/B0000B8
start-time = '2020-09-22 22:49:33+08'
end-time = '2020-09-22 22:49:39+08'
recovery-xid = 658
recovery-time = '2020-09-22 22:49:34+08'
data-bytes = 41423956
wal-bytes = 16777216
uncompressed-bytes = 41389959
pgdata-bytes = 41389720
status = OK
primary_conninfo = 'user=postgres port=5432 sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any'
content-crc = 1486842437

查看归档详情

pg_probackup show -B ${backup_dir} --instance ${instance_name} --archive

配置 Retention Policy

  • -retention-redundancy=redundancy : 保留备份多少天 FULL
  • -retention-window=window : 可恢复多少天之前备份
pg_probackup set-config -B ${backup_dir} --instance ${instance_name} --retention-redundancy 7 --retention-window 7

$ /usr/local/pg_probackup-2.4.2/pg_probackup show-config -B /data/pgdata_probackup/ --instance local_5432
# Backup instance information
pgdata = /data/pgsql12/data
system-identifier = 6870373621203487994
xlog-seg-size = 16777216
# Connection parameters
pgdatabase = postgres
# Replica parameters
replica-timeout = 5min
# Archive parameters
archive-timeout = 5min
# Logging parameters
log-level-console = INFO
log-level-file = OFF
log-filename = pg_probackup.log
log-rotation-size = 0TB
log-rotation-age = 0d
# Retention parameters
retention-redundancy = 7
retention-window = 7
wal-depth = 0
# Compression parameters
compress-algorithm = none
compress-level = 1
# Remote access parameters
remote-proto = ssh

删除过期数据

pg_probackup delete -B ${backup_dir} --instance ${instance_name} --delete-expired

--同时删除过期WAL
pg_probackup delete -B ${backup_dir} --instance ${instance_name} --delete-expired --delete-wal

--使用新策略覆盖当前策略删除
pg_probackup delete -B ${backup_dir} --instance ${instance_name} --delete-expired --delete-wal --retention-window=1 --retention-redundancy=1

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw

云掣YUNCHE
关注
  • 23
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pg_probackup：PostgreSQL备份和恢复管理器
02-05
pg_probackup pg_probackup是一个实用程序，用于管理PostgreSQL数据库集群的备份和恢复。 它旨在执行PostgreSQL实例的定期备份，使您能够在发生故障时还原服务器。 该实用程序兼容： PostgreSQL 9.5、9.6、10、11、12、13; 与其他备份解决方案相比， pg_probackup具有以下好处，可以帮助您实施不同的备份策略并处理大量数据： 增量备份：页面级增量备份可让您节省磁盘空间，加快备份和还原速度。 使用三种不同的增量模式，您可以根据数据流计划备份策略。 增量还原：页面级增量还原允许您通过在目标目录中重用有效的未更改页面来显着加
pg_probackup用户手册.rar
02-10
pg_probackup官方英文文档+中文翻译,pg_probackup管理PostgreSQL数据库集群的备份和恢复.pg_probackup是一个实用程序，用于管理PostgreSQL数据库集群的备份和恢复。它旨在执行PostgreSQL实例的定期备份，使您能够在发生故障时还原服务器。pg_probackup支持PostgreSQL 9.5或更高版本。
postgresql完整备份，增量备份，差异备份详细说明及对比（InsCode AI 创作助手）
LSW1737554365的博客
09-12 4430
PostgreSQL 是一款开源的关系型数据库管理系统，为了确保数据的安全性和可恢复性，数据库备份是至关重要的。在这篇博客中，我们将深入探讨 PostgreSQL 备份策略，包括完整备份、增量备份和差异备份，以及它们之间的比较。此外，我们还将提供相应的备份和恢复示例，帮助您更好地理解这些备份策略的工作原理。
探秘高效数据库备份利器：pg_probackup
最新发布
gitblog_00039的博客
05-18 409
探秘高效数据库备份利器：pg_probackup 项目地址:https://gitcode.com/postgrespro/pg_probackup 在数据日益重要的今天，确保数据库的安全和可恢复性成为了业务连续性的关键。pg_probackup 是一个强大的工具，专为管理 PostgreSQL 数据库集群的备份与恢复而设计，它以其出色的性能和灵活性，为你的数据保护策略提供了新的可能。 项目简介 ...
PG备份管理工具pg_probackup
三思的博客
09-24 2439
文章目录一、pg_probackup概述二、安装部署2.1 源码安装2.2 rpm包安装部署三、常用命令四、工具使用4.1 初始化配置4.2 数据备份(全备+增备)4.3 数据恢复 一、pg_probackup概述 pg_probackup 是一款免费的postgres数据库集群备份工具，与其他备份工具相比，它主要有如下一些优势： 提供增量备份，增量备份一定程度上可以节省磁盘空间的使用并且减少备份时间消耗 可通过全量备份+增量备份进行增量恢复 无需通过实际的数据恢复操作验证备份文件是否有效 Verific
MySQL数据库--增量备份--差异备份--区别于解析
weixin_48191060的博客
10-13 301
增量备份的备份原理 增量备份的工作原理是除了第一次备份外每次备份所依赖的是上次的增量备份，只有在上一次完全备份或增量备份后被修改的文件才会被备份 工作原理 序列 备份数据 数据库变动 第一次备份 a表，b表 a表，b表 第二次备份 c表 a表，b表，c表 第三次备份 删b表加d表 a表，c表，d表 差异备份的备份原理 差异备份的工作原理是备份上次完全备份之后修改过的文件，工作原理是依赖于一开始完全备份的文件 工作原理 序列 备份数据 数据库变动 第一次备份
mysql 缺点热备份_一种MySQL数据库的热备份方法与系统与流程
weixin_39920397的博客
12-20 144
本发明涉及数据库的备份和恢复技术领域，尤其涉及一种MySQL数据库的热备份方法与系统。背景技术：目前，MySQL数据库的主要备份方式是逻辑备份和物理备份。逻辑备份主要通过查询MySQL数据库的表结构和数据，将它们转换成相应的SQL语句，存储到一个文本文件中。其属于热备份，备份时数据库仍可使用，但因为需要占用MySQL数据库服务器资源进行查询，所以当数据量较大时，逻辑备份的速度过慢，而且会对数据库的...
PostgreSQL备份恢复管理器pg_probackup
多米爸比的专栏
04-06 107
PostgreSQL备份恢复管理
PG-PROBACKUP 本地+异地备份恢复部署文档
10-05
`PG-PROBACKUP` 是一个功能强大的 PostgreSQL 备份工具，尤其适用于大型数据库的高效备份与恢复。它支持本地和异地备份，提供了多种备份模式，包括全备、增量备份，并具备自动数据一致性检查和验证功能，以确保数据...
pg_rman：PostgreSQL备份和还原管理工具
02-05
《pg_rman：PostgreSQL备份与恢复的利器》 在PostgreSQL数据库管理中，数据的安全性和完整性至关重要。为了确保在面临系统故障、数据丢失或需要回溯到特定时间点时能够迅速恢复，备份和还原机制成为了必备的工具。...
postgresql数据库定时备份脚本（linux）
07-14
3. **差异备份**：与增量备份类似，但基于上一次完整备份，备份所有变化的数据。 二、备份方法 1. **pg_dump工具**：PostgreSQL提供的命令行工具，用于生成SQL脚本或存档文件。 2. **pg_basebackup**：用于获取...
PostgreSQL 备份恢复：pg_probackup
分享既学习
09-04 1024
pg_probackup 是一款功能强大的开源 PostgreSQL 备份工具，和 MySQL 社区 XtraBackup 类似，功能也非常强大，本篇文章将和各位共同探索学习。环境介绍：CentOS Linux release 7.8.2003 (Core)数据库版本：PostgreSQL - 12.2使用可以看到该工具主要分为几块功能，本小节会详细介绍。
postgresql 10数据库备份 pg_probackup 简明教程
weixin_33709609的博客
09-01 344
测试环境说明OS：CentOS Linux release 7.3.1611 (Core) X64PG：pg10 beta3 source installpg_probackup: 2.0.3source install建立归档备份目录[postgres@masterdb ~]# mkdir /backupdir[postgres@masterdb ~]# chown po...
pg_probackup 之三 Full Backup、 Incremental PAGE Backup
一名数据库爱好者的专栏
10-07 420
os: centos 7.4 db: postgresql 9.6 pg_probackup: 2.1.5 pg_probackup 是 postgres pro 一款优秀的备份还原工具，目前兼容 PostgreSQL 9.5, 9.6, 10, 11; Creating a Full Backup # su - postgres $ pg_probackup show-config -B /v...
pg_probackup 之一 简介
一名数据库爱好者的专栏
10-06 1700
os: centos 7.4 db: postgresql 9.6 pg_probackup: 2.1.5 pg_probackup 是 postgres pro 一款优秀的备份还原工具，目前兼容 PostgreSQL 9.5, 9.6, 10, 11; pg_probackup 的官宣优点 As compared to other backup solutions, pg_probackup ...
PostgreSQL数据库 pg_probackup保留策略测试
duqk1982的博客
08-07 993
PostgreSQL数据库在利用pg_probackup备份并设置了备份集保留策略之后，可以根据保留策略清理备份集和wal归档。在执行清理命令的时候，有相关参数，本文通过测试体现这些参数之间的差异性。
pg_probackup 之二 yum setup
一名数据库爱好者的专栏
10-07 429
os: centos 7.4 db: postgresql 9.6 pg_probackup: 2.1.5 pg_probackup 是 postgres pro 一款优秀的备份还原工具，目前兼容 PostgreSQL 9.5, 9.6, 10, 11; pg_probackup 的 yum install # rpm -ivh http://repo.postgrespro.ru/pg_pro...
pg_probackup 之四 restore
一名数据库爱好者的专栏
03-04 628
os: centos 7.4 db: postgresql 11.5 pg_probackup: 2.2.7 pg_probackup 是 postgres pro 一款优秀的备份还原工具，目前兼容 PostgreSQL 9.5, 9.6, 10, 11; 有时候在生产环境误删除了表，或者误删除了数据，再或者想恢复个生产库做些功能测试，就需要做异机恢复。 版本 # cat /etc/centos-...
pg_probackup delete怎么使用
07-12
`pg_probackup delete` 是一个用于删除 PostgreSQL 备份的命令行工具。您可以按照以下步骤使用它： 1. 打开终端或命令提示符，并导航到 `pg_probackup` 安装目录。 2. 运行以下命令来删除备份： ```shell pg_probackup delete -B <backup_path> --instance <instance_name> --backup-id <backup_id> ``` 其中： - `<backup_path>` 是备份目录的路径。 - `<instance_name>` 是要删除备份的 PostgreSQL 实例的名称。 - `<backup_id>` 是要删除的备份的标识符。您可以使用 `pg_probackup show` 命令查看备份列表和其标识符。 请注意，`pg_probackup delete` 命令删除指定备份及其相关文件，因此请确保在执行此命令之前，已经备份好了相关数据，并且谨慎操作，以免误删除重要备份。 3. 执行命令后，`pg_probackup` 将提示您确认删除操作。输入 `y` 确认删除。 ```shell Are you sure you want to delete backup <backup_id>? (y/n) ``` 如果确认删除，备份将被删除并释放相关的存储空间。 请记住，使用 `pg_probackup` 工具删除备份前，请确保您了解操作的后果，并且做好数据备份和恢复的准备工作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值