【干货】Greenplum备份恢复工具gpbackup（完结篇）

在 《Greenplum备份恢复工具gpbackup》 系列文章的 上篇 、和 中篇 ，我们分别介绍了gpbackup概念、源码编译和所有参数的详细使用方法。在本系列的完结篇，我们将主要介绍 gprestore 的使用方法及一些其他的功能。

✦

✦

gprestore 是 专门用来做gpdb数据恢复的并行恢复工具 ，配合 gpbackup 使用，编译安装方式与 gpbackup 一样，无论是官方下载的软件包还是自行编译的软件包，均会有gprestore这个命令。

下面我们仍然采用与中篇一样的套路来进行演示，首先把 gprestore 的详细命令给大家贴一下，然后通过实验的方式做几个具体场景的解释。在本文的最后，对整个工具进行一个总结，希望对大家日后使用有所帮助。

1

gprestore备份参数详解

如果要使用gprestore进行数据库恢复，那就要求您必须已经使用gpbackup进行了数据库备份，恢复时通过指定 --timestamp 参数把备份集传给gprestore。如果您指定的是一个增量备份的时间戳，那这个增量备份的base全量备份及其他增量文件必须均存在，恢复时会校验备份集合的完整性，防止恢复出错。

在恢复数据时，默认情况下会将数据恢复到gpbackup备份的数据库中，如果该数据库已经不存在了，需要通过指定 --create-db 参数来自动创建数据库；如果数据库存在但是模式不存在，也会自动创建模式，如果模式已经存在，则会告警提示并继续恢复数据；如果数据库中同名的表已经存在，则恢复会失败并立刻停止。

接下来首先还是我们通过命令行来看一下gprestore命令自带的帮助信息有哪些参数，具体含义直接在参数后面进行翻译：

[chris@gpt1 ~]$ gprestore --helpgprestore is the parallel restore utility for Greenplum
Usage:  gprestore [flags]
Flags:      --backup-dir string            `可选参数`, 写入备份文件的绝对路径，不能采用相对路径，如果您指定了该路径，恢复操作会在所有机器上的这个目录下查找备份文件（包括元数据文件）。如果您不指定这个选项，元数据文件会从Master节点的 `$MASTER_DATA_DIRECTORY/backups/YYYYMMDD/YYYYMMDDhhmmss/` 目录下查找，数据文件会从segment主机的 `<seg_dir>/backups/YYYYMMDD/ YYYYMMDDhhmmss/`目录下查找。该选项不能与 `--plugin-config` 选项共同使用。      --copy-queue-size int          `可选参数`, 自行编译最新版本gpbackup带有的参数，该参数只能配合 `--single-data-file` 参数一起使用，当定义了 `--single-data-file` 参数以后，通过执行 `--copy-queue-size` 参数的值来指定gprestore命令使用COPY命令的个数，默认值为1。      --create-db                    `可选参数`, 在执行数据库对象(metadata)恢复之前先创建数据库，该操作实际上通过复制标准模版数据库template0来实现；如果不指定该参数，默认不会创建数据库，此时就要求该数据库必须存在，否则恢复失败。      --data-only                    `可选参数`, 仅恢复数据，不恢复表结构信息，这就要求要恢复的表必须已经在数据库中存在。需要特别注意的是，该表上SEQUENCE的值会被恢复成备份时的状态。      --debug                        `可选参数`, 打印详细的调试信息。      --exclude-schema stringArray   `可选参数`, 指定恢复操作要排除的数据库模式(schema)， 如果要排除多个模式，需要多次定义，不支持 `--exclude-schema=schema1,schema2` 的方式。另外该参数与 '--exclude-schema-file, exclude-table, --exclude-table-file, --include-schema, --include-schema-file, --include-table, --include-table-file' 这几个参数不能同时使用。      --exclude-schema-file string   `可选参数`, 包含恢复操作要排除的数据库模式的文件，每一行为一个模式名，该文件不能包含多余的符号，如果数据库中的模式包含除了：字母、数字和下划线以外的特殊符号，那么请在文件中用双引号进行包裹。该参数与 '--exclude-schema, --exclude-table, --exclude-table-file, --include-schema, --include-schema-file, --include-table, --include-table-file' 这几个参数不能同时使用。      --exclude-table stringArray    `可选参数`, 指定恢复操作中要排除的表名，该参数与 '--exclude-schema, --exclude-schema-file, --exclude-table-file, --include-schema, --include-schema-file, --include-table, --include-table-file' 这几个参数不能同时使用。指定表名时，必须使用 `<schema-name>.<table-name>` 的格式指定匹配到具体的模式，如果数据库中的模式包含除了：字母、数字和下划线以外的特殊符号，那么请在文件中用双引号进行包裹。另外该参数也支持多次指定。      --exclude-table-file string    `可选参数`, 指定文件包含恢复操作中要排除的表名，该参数与 '--exclude-schema, --exclude-schema-file, --exclude-table, --include-schema, --include-schema-file, --include-table, --include-table-file' 这几个参数不能同时使用。指定表名时，必须使用 `<schema-name>.<table-name>` 的格式指定匹配到具体的模式，如果数据库中的模式包含除了：字母、数字和下划线以外的特殊符号，那么请在文件中用双引号进行包裹。如果有多个表，需要在文件中分行多次指定。      --help                         显示命令行参数帮助信息，与具体的恢复操作无关。      --include-schema stringArray   `可选参数`, 指定恢复操作要包含的数据库模式(schema)， 如果要包含多个模式，需要多次定义，不支持 `--include-schema=schema1,schema2` 的方式。另外该参数与 '--exclude-schema, --exclude-schema-file, exclude-table, --exclude-table-file, --include-schema-file, --include-table, --include-table-file' 这几个参数不能同时使用。      --include-schema-file string   `可选参数`, 包含恢复操作要包含的数据库模式的文件，每一行为一个模式名，该文件不能包含多余的符号，如果数据库中的模式包含除了：字母、数字和下划线以外的特殊符号，那么请在文件中用双引号进行包裹。该参数与 '--exclude-schema, --exclude-schema-file, --exclude-table, --exclude-table-file, --include-schema, --include-table, --include-table-file' 这几个参数不能同时使用。      --include-table stringArray    `可选参数`, 指定恢复操作中要包含的表名，该参数与 '--exclude-schema, --exclude-schema-file, --exclude-table, --exclude-table-file, --include-schema, --include-schema-file, --include-table-file' 这几个参数不能同时使用。指定表名时，必须使用 `<schema-name>.<table-name>` 的格式指定匹配到具体的模式，如果数据库中的模式包含除了：字母、数字和下划线以外的特殊符号，那么请在文件中用双引号进行包裹。另外该参数也支持多次指定。      --include-table-file string    `可选参数`, 指定文件包含恢复操作中要包含的表名，该参数与 '--exclude-schema, --exclude-schema-file, --exclude-table, --exclude-table-file, --include-schema, --include-schema-file, --include-table' 这几个参数不能同时使用。指定表名时，必须使用 `<schema-name>.<table-name>` 的格式指定匹配到具体的模式，如果数据库中的模式包含除了：字母、数字和下划线以外的特殊符号，那么请在文件中用双引号进行包裹。如果有多个表，需要在文件中分行多次指定。      --incremental                  `可选参数`, `测试功能`: 该选项与 '--data-only' 必须一起使用，仅恢复 '--timestamp' 参数指定的时间戳备份的数据，不恢复之前的全量和增量备份。该功能只对AO表有效，恢复的数据包括Heap表全量数据、最新修改备份的AO表增量数据、最新修改备份的叶子分区增量数据。      --jobs int                     `可选参数`, 指定进行表恢复过程中的并行任务数，如果不指定，该值默认为1，gprestore会使用一个任务（即一个数据库连接）进行备份。可以通过增加该值来提升备份速度，如果指定了大于1的值，备份操作会以表为单位进行并发操作，每个表开启一个单独的事务。需要特别注意的是，指定该参数进行并发备份时，不要进行外部程序操作，否则无法保证多表之间的事物一致性。该参数与 `-- single-data-file` 参数共同使用时，只能设置为1。      --metadata-only                `可选参数`, 只恢复数据库的模式信息，该操作假设数据库中不存在要恢复的表。可以同时配合 '--with- global' 参数恢复数据库全局对象。如果后期想恢复数据，可以配合 '--data-only' 参数一起使用。      --on-error-continue            `可选参数`, 指定该参数可以在出现恢复错误时，让恢复操作继续。默认情况下出错后马上退出恢复。在该操作模式下，错误信息会记录到备份目录的对应文件下，元数据恢复错误记录到日志文件 'gprestore_<backup-timestamp>_<restore- time>_error_tables_metadata' 中，生产数据恢复错误记录到日志文件 'gprestore_<backup-timestamp>_<restore- time>_error_tables_data' 中。      --plugin-config string         `可选参数`, 指定plugin配置文件位置，该文件是一个有效的YAML文件，用来指定在恢复过程中使用的plugin应用的配置信息。该参数通常对应gpbackup使用该参数的场景，从一些非本地存储设备上进行恢复。      --quiet                        `可选参数`, 静默模式，除了warning和error信息都不打印。      --redirect-db string           `可选参数`, 将数据恢复到指定的数据库，而不是恢复到原来备份的数据库中。      --redirect-schema string       `可选参数`, 恢复数据到指定模式，而不是恢复到原来备份的模式中。即使原来的数据来自多个模式的多个表，也可以同时恢复到指定的模式和表中。这个参数必须与参数 '--include-table-file, --include-schema, 或 --include-schema- file' 一起使用以指定原来的表或者模式名称，当然这也决定了我们不能将它与参数 '-- exclude-schema 或 --exclude-table' 同时使用。该参数还可以配合 '--metadata-only 或 --data-only' 来恢复元数据或生产数据。      --run-analyze                  `可选参数`, 在运行完表数据恢复后，执行 'ANALYZE' 操作，该参数不能与 '--with-stats' 参数同时使用；默认情况下，针对分区表，会ANALYZE根分区，如果您指定了 '--leaf-partition-data' 则只会去ANALYZE对应恢复了数据的子分区。      --timestamp string             `必选参数`, 指定要恢复的备份集的时间戳，格式为：'YYYYMMDDHHMMSS'。      --truncate-table               `必选参数`, 在恢复之前先把目标表清空，该参数主要为了避免数据重复问题。      --verbose                      `可选参数`, 打印详细日志信息。      --version                      打印gpbackup的版本号并退出。      --with-globals                 `可选参数`, 恢复全局对象。      --with-stats                   `可选参数`, 恢复查询计划统计信息。

2

gprestore恢复实验及总结

在上面一部分，进行了详细的参数解释，下面我们通过一系列的实验来对一些特别的参数和场景进行演示。因为参数过多，不能一一列举，所以尽可能选用一些大家常用的场景，场景之间可能存在顺序关联关系，还请各位依次阅读。

本文所有实验都指定恢复目录: --backup-dir=/data/backups/，后面就不做赘述了。

2.1

常规恢复，只指定--timestamp参数

通过该试验让大家认识gprestore恢复操作都做了啥，方便大家对备份有一个整体的了解。

实 验 语句 ：
首 先我 们构造一个带有全量备份的增量备份：

[chris@gpt1 gp-1]$ gpbackup --dbname=db3 --backup-dir=/data/backups/ --leaf-partition-data日志省略～[chris@gpt1 gp-1]$ gpbackup --dbname=db3 --backup-dir=/data/backups/ --leaf-partition-data --incremental日志省略～[chris@gpt1 20220402]$ ls20220402190726(base backup)  20220402190737(incremental)[chris@gpt1 20220402]$ pwd/data/backups/gp-1/backups/20220402

然后，我们来直接指定增量备份时间戳，进行恢复：

[chris@gpt1 20220402]$ gprestore --backup-dir=/data/backups/ --timestamp=2022040219073720220402:19:12:55 gprestore:chris:gpt1:016572-[INFO]:-Restore Key = 2022040219073720220402:19:12:55 gprestore:chris:gpt1:016572-[INFO]:-gpbackup version = 1.23.0+dev.6.gabcfe1520220402:19:12:55 gprestore:chris:gpt1:016572-[INFO]:-gprestore version = 1.23.0+dev.6.gabcfe1520220402:19:12:55 gprestore:chris:gpt1:016572-[INFO]:-Greenplum Database Version = 6.15.0 build commit:4e6288c9e9fca63