Docker环境实现PostgreSQL自动备份

安装

Ubuntu安装Docker环境

如果您尚未在 Ubuntu 系统中安装 Docker，可以按照以下步骤进行安装：

更新系统的包列表：

sudo apt-get update

安装 Docker 相关的依赖包：

sudo apt-get install -y apt-transport-https ca-certificates curl software-properties-common

添加 Docker 的官方 GPG 密钥：

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/docker.gpg

添加 Docker 的官方软件源：

sudo add-apt-repository "deb [arch=$(dpkg --print-architecture signed-by=/etc/apt/trusted.gpg.d/docker.gpg)] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

更新包列表并安装 Docker：

sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io

启动 Docker 服务并设置开机自启：

sudo systemctl start docker
sudo systemctl enable docker

安装PostgreSQL

在 Docker 中安装 pg_rman，首先需要拉取 PostgreSQL 的 Docker 镜像。可以使用以下命令从 Docker Hub 上拉取官方的 PostgreSQL 镜像：

docker pull postgres

创建 PostgreSQL 容器 接下来，创建一个名为 "my-postgres" 的 PostgreSQL 容器，并设置一个用户名和密码供连接使用。可以使用以下命令：

docker run -d --name my-postgres -e POSTGRES_USER=myuser -e POSTGRES_PASSWORD=mypassword postgres

其中，myuser 和 mypassword 分别是要设置的用户名和密码，您可以根据需要进行修改。

进入 PostgreSQL 容器 运行以下命令以进入 PostgreSQL 容器的 shell：

docker exec -it my-postgres bash

安装和配置pg_rman

容器内安装git

如果在容器内没有git命令，您可以通过以下步骤安装它：

1.在容器内执行以下命令更新包管理工具：

apt-get update

2.使用以下命令安装git：

apt-get install -y git

这将安装git工具，使您能够下载pg_rman源代码并进行后续编译和安装步骤。完成安装后，您可以按照之前的步骤继续进行pg_rman的安装。

容器内安装pg_rman

在 PostgreSQL 容器的 shell 中，可以使用以下命令安装 pg_rman 的依赖项，并编译安装 pg_rman：

1.安装编译工具和依赖项：

apt-get update
apt-get install -y git build-essential libpq-dev libssl-dev

2.克隆 pg_rman 仓库：

git clone https://github.com/ossc-db/pg_rman.git

3.进入 pg_rman 目录：

cd pg_rman

4.编译并安装 pg_rman：

make
make install

配置PostgreSQL

安装完 pg_rman 后，需要在 PostgreSQL 中配置 pg_rman 进行备份和恢复操作。可以在 PostgreSQL 容器的 shell 中使用以下命令编辑 PostgreSQL 的配置文件：

1.编辑 PostgreSQL 的配置文件 postgresql.conf：

vi /var/lib/postgresql/data/postgresql.conf

2.在容器内创建用于存储备份文件的目录

mkdir -p /var/lib/postgresql/pg_rman_backup

3.在配置文件中添加以下内容，启用 pg_rman：

# 启用 pg_rman 插件
shared_preload_libraries = 'pg_rman'
# 指定 pg_rman 的备份目录
pg_rman.backup_path = '/var/lib/postgresql/pg_rman_backup'

4.保存并退出配置文件。

5.在容器内重启 PostgreSQL 服务，使配置生效：

service postgresql restart

使用 pg_rman 进行备份和恢复， 现在，可以在 Docker 容器中使用 pg_rman 进行 PostgreSQL 数据库的备份和恢复操作了。以下是一些常用的 pg_rman 命令示例：

测试

创建全量备份

pg_rman backup -B /var/lib/postgresql/pg_rman_backup -b my_backup
 

创建增量备份

pg_rman backup -B /var/lib/postgresql/pg_rman_backup -b my_backup --incremental
 

恢复备份

pg_rman restore -B /var/lib/postgresql/pg_rman_backup -i my_backup
 

参数的解释：

• pg_rman：这是运行 pg_rman 工具的命令。
• backup：这是你要执行的操作，本例中是备份操作。
• -B /var/lib/postgresql/pg_rman_backup：这是 -B 选项后跟一个目录路径。它指定备份将存储在的目录，本例中备份将放在目录 /var/lib/postgresql/pg_rman_backup 中。
• -b my_backup：这是 -b 选项后跟一个标签或标识备份的名称。在这里，备份标签设置为 "my_backup"。这个标签可以帮助你标识和管理不同的备份。
• 这些参数用于告诉 pg_rman 在哪里存储备份，并为备份提供一个易于识别的标签。通常，你会包括其他选项和参数，以指定有关 PostgreSQL 数据库和备份配置的详细信息。

配置 pg_rman

1.在PostgreSQL容器内创建配置文件

touch /var/lib/pgsql/data/pg_rman.conf

2.编辑配置文件

使用文本编辑器（例如vi或nano）编辑配置文件，添加以下内容，根据您的需求进行配置：

BACKUP_PATH = '/var/lib/postgresql/pg_rman_backup'
BACKUP_MODE = FULL
LOG_DIR = '/var/log/pg_rman'

在上述配置中，将/var/lib/postgresql/pg_rman_backup替换为您希望存储备份的实际目录路径，/var/log/pg_rman是pg_rman备份日志的目录。这些路径指的是PostgreSQL容器内的文件和目录路径，前提需提前创建对应文件夹

1. 映射备份路径到主机路径： 假设您希望将容器内的备份路径 /var/lib/postgresql/pg_rman_backup 映射到主机上的 /host/backup 目录，可以在运行容器时使用 -v 参数：

-v /host/backup:/var/lib/postgresql/pg_rman_backup

这样，备份文件将在容器内的 /var/lib/postgresql/pg_rman_backup目录创建，但也将在主机上的 /host/backup 目录中可见。

2. 映射日志路径到主机路径： 假设您希望将容器内的日志路径 /var/log/pg_rman 映射到主机上的 /host/log 目录，可以在运行容器时使用 -v 参数：

-v /host/log:/var/log/pg_rman

这样，pg_rman备份日志将在容器内的 /var/log/pg_rman 目录创建，但也将在主机上的 /host/log 目录中可见。

通过这种方式，您可以轻松在容器内和主机之间共享备份文件和备份日志。确保在命令中替换路径为您希望使用的实际路径。

3.重启 PostgreSQL 容器（可根据实际情况添加容器数据卷）

docker restart my_postgres

这将使 pg_rman 配置生效。

配置PostgreSQL步骤可忽略此步骤

对于在 PostgreSQL 容器内启用 pg_rman 扩展的步骤，这取决于您的 PostgreSQL 数据库配置和需求。下面我将进一步解释这个步骤的情况：

1.在 Docker 中启动一个 PostgreSQL 容器。可以使用以下命令创建一个基于 PostgreSQL 的 Docker 容器：

docker run -d --name my_postgres -p 5432:5432 -e POSTGRES_USER=myuser -e POSTGRES_PASSWORD=mypassword postgres

其中，my_postgres 是容器名称，myuser 和 mypassword 是 PostgreSQL 的用户名和密码。

2.进入 PostgreSQL 容器的 Shell：

docker exec -it my_postgres psql -U myuser

其中，myuser 是之前设置的 PostgreSQL 用户名。

3.在 PostgreSQL 容器中安装 pg_rman 扩展：

如果您希望在 PostgreSQL 容器内使用 pg_rman 扩展来执行备份和还原操作，并且您的 PostgreSQL 数据库尚未启用 pg_rman 扩展，那么您需要在 PostgreSQL 容器内执行以下 SQL 命令来启用扩展：

CREATE EXTENSION pg_rman;

这将在 PostgreSQL 中安装 pg_rman 扩展。

1. • 这通常用于在数据库级别启用 pg_rman 扩展，以便您可以在 PostgreSQL 数据库内直接运行 pg_rman 命令。

2. 在 PostgreSQL 容器内不需要启用 pg_rman 扩展（没有此步骤）：

   • 如果您的 PostgreSQL 容器已经在创建时包含了 pg_rman 扩展，或者您的 PostgreSQL 数据库中已经启用了 pg_rman 扩展，那么您不需要再次在容器内启用它。
   • 这可能是因为您使用的 PostgreSQL 容器映像已经包含 pg_rman 扩展，或者您在容器外部的 PostgreSQL 数据库中已经进行了配置。

1.创建 pg_rman 的备份目录

mkdir /pg_rman_backup

这将在容器外创建一个用于存储备份的目录。

2.在 PostgreSQL 容器中配置 pg_rman

ALTER SYSTEM SET pg_rman.config_file_directory = '/pg_rman_backup';

这将设置 pg_rman 的配置文件目录为之前创建的备份目录。

3.重启 PostgreSQL 容器

docker restart my_postgres

这将使 pg_rman 配置生效。

设置定时备份

1.创建一个名为 pg_rman_backup.sh 的脚本文件，并将其放置在备份目录中，例如 /pg_rman_backup。

2.编辑 pg_rman_backup.sh 脚本，设置备份的参数和选项。例如，以下是一个示例脚本：

#!/bin/bash

# 定义备份目录和文件名
BACKUP_DIR="/pg_rman_backup"
BACKUP_FILE="backup_%Y%m%d_%H%M%S"

# 获取当前日期和时间
CURRENT_DATE=$(date "+%Y-%m-%d")
CURRENT_TIME=$(date "+%H:%M:%S")

# 判断当前日期是周日还是周一到周六
if [ "$(date +%u)" == "7" ]; then
  # 如果是周日，则执行全量备份
  echo "[$CURRENT_DATE $CURRENT_TIME] Performing full backup..."
  pg_rman backup --backup-path=$BACKUP_DIR --backup-mode=full --backup-name-format=$BACKUP_FILE
else
  # 如果是周一到周六，则执行增量备份
  echo "[$CURRENT_DATE $CURRENT_TIME] Performing incremental backup..."
  pg_rman backup --backup-path=$BACKUP_DIR --backup-mode=incremental --backup-name-format=$BACKUP_FILE
fi

3.设置定时任务，使用 cron 在容器内设置每周日凌晨1点执行全量备份，每周一到周六凌晨1点执行增量备份。例如，以下是一个 cron 配置示例：

# 进入 PostgreSQL 容器
docker exec -it my_postgres bash

# 编辑 crontab 配置文件
crontab -e

# 在 crontab 配置文件中添加以下定时任务
0 1 * * 7 /pg_rman_backup/pg_rman_backup.sh   # 每周日凌晨1点执行全量备份
0 1 * * 1-6 /pg_rman_backup/pg_rman_backup.sh # 每周一到周六凌晨1点执行增量备份

这将在每周日凌晨1点执行全量备份，每周一到周六凌晨1点执行增量备份，根据您的需求进行定时备份。请注意，crontab 的时间设置根据您的系统时区而定，以上示例假设您的系统时区为 UTC。如果您的系统时区不同，需要根据实际情况进行调整。

停止定时任务

1.打开终端或 SSH 连接到你的服务器。

2.运行以下命令来编辑你的 crontab 配置文件：

crontab -e

在编辑模式下，找到你之前添加的定时任务行，将这些行删除或注释掉。你可以在行前面添加 # 符号，这样它们将被视为注释而不再执行：

# 0 1 * * 7 /pg_rman_backup/pg_rman_backup.sh

# 0 1 * * 1-6 /pg_rman_backup/pg_rman_backup.sh

保存并退出编辑器。

这将停止之前设置的定时任务。 Crontab 将不再执行这些任务。

请注意，你需要使用具有适当权限的用户运行 crontab -e 来编辑 crontab 配置文件。如果你使用了 root 用户来设置这些任务，你应该以 root 用户身份运行上述命令。

删除备份

在 Docker 环境下，要删除 pg_rman 创建的备份文件，可以通过以下步骤进行：

进入运行 PostgreSQL 容器的主机。

在主机上定位到 pg_rman 备份文件的存储路径。这通常在容器内的某个挂载目录中，可以通过挂载选项 -v 或 --volume 在启动容器时指定的。例如，如果在启动容器时使用了以下命令：

docker run -v /my/backup/folder:/var/lib/postgresql/pg_rman_backup postgres

那么备份文件将会存储在主机上的 /my/backup/folder 目录中。

在主机上使用命令行或文件管理工具，删除不再需要的备份文件。例如，可以使用 rm 命令删除文件，例如：

rm /my/backup/folder/my_backup

注意，删除备份文件时要谨慎，确保您只删除不再需要的备份文件，并且不会影响到正在使用的数据库的完整性和可用性。

此外，您也可以在运行 PostgreSQL 容器时通过 -e 或 --env 参数设置 pg_rman.backup_path 参数，将备份文件存储到容器内的其他目录，并在容器内使用相应的权限删除备份文件。例如，可以使用以下命令启动容器，并将备份文件存储到 /my/backup/folder 目录：

docker run -e pg_rman.backup_path=/my/backup/folder postgres

然后在容器内使用相应的权限删除备份文件。请注意，这种方法需要在容器内具有足够的权限来删除文件，并且需要小心以避免意外删除重要数据。

pg_rman如何知道postgres的数据文件位置

pg_rman 通过连接到 PostgreSQL 数据库来获取数据文件的位置，因为 PostgreSQL 维护了有关数据文件的元数据信息。您无需手动指定数据文件位置，pg_rman 会自动检测数据库中的数据目录。

通常，pg_rman 会查看 PostgreSQL 数据目录，并从数据库的元数据中了解数据文件的位置。这包括主要数据目录、表空间、以及其他相关信息。然后，pg_rman 使用这些信息来备份和还原数据库。

在 PostgreSQL 中，数据文件通常存储在数据库数据目录下的 base 目录中。pg_rman 会查找这些数据文件，以确保备份包含所有必要的数据。

虽然大多数情况下 pg_rman 可以自动识别数据文件的位置，但在某些特殊情况下，您可能需要手动指定数据文件的位置，特别是在您的数据库配置与标准设置不同的情况下。要手动指定数据文件位置，您可以在 pg_rman 的配置文件中使用 DATABASE_PATH 参数来定义数据库的数据目录路径。例如：

DATABASE_PATH = '/path/to/postgresql/data'

将 /path/to/postgresql/data 替换为您 PostgreSQL 数据目录的实际路径。

总之，pg_rman 通常能够自动检测 PostgreSQL 数据文件的位置，但您也可以在需要时手动指定它们。这样，pg_rman 就能正确备份和还原数据库。