GaussDB-物理、逻辑备份 使用方法和[GAUSS-53403]解决办法

已于 2022-11-25 13:49:35 修改
阅读量2.7k 收藏 7
点赞数 1
文章标签： 数据库 sql mysql
于 2022-11-25 13:45:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46400195/article/details/128013809
版权

文章目录

1.逻辑备份-gs_dump

gs_dump是一款用于导出数据库相关信息的工具，支持导出完整一致的数据库对象（数据库、模式、表、视图等）数据，同时不影响用户对数据库的正常访问。

1物理备份sql语句：

[omm@gaussdb01 data]$ gs_dump -U lily -W qwe123QW -f /opt/software/gsdump.hr.sql -p 30100 db_hr -F p

在这里插入图片描述
gs_dump是openGauss用于导出数据库相关信息的工具，用户可以自定义导出一个数据库或其中的对象（模式、表、视图等）。支持导出的数据库可以是默认数据库postgres，也可以是自定义数据库。

  1. gs_dump工具由操作系统用户omm执行。
  2. gs_dump工具在进行数据导出时，其他用户可以访问openGauss数据库（读或写）。
  3. gs_dump工具支持导出完整一致的数据。例如，T1时刻启动gs_dump导出A数据库，那么导出数据结果将会是T1时刻A数据库的数据状态，T1时刻之后对A数据库的修改不会被导出
  4. gs_dump支持将数据库信息导出至纯文本格式的SQL脚本文件或其他归档文件中。
    纯文本格式的SQL脚本文件：包含将数据库恢复为其保存时的状态所需的SQL语句。通过gsql运行该 SQL脚本文件，可以恢复数据库。即使在其他主机和其他数据库产品上，只要对SQL脚本文件稍作修改，也可以用来重建数据库。
    归档格式文件：包含将数据库恢复为其保存时的状态所需的数据，可以是tar格式、目录归档格式或自定义归档格式，详见下页表格。该导出结果必须与gs_restore配合使用来恢复数据库，gs_restore工具在导入时，系统允许用户选择需要导入的内容，甚至可以在导入之前对等待导入的内容进行排序。
    在这里插入图片描述

2.逻辑备份恢复数据库

gsql -p 30100 db_hr -r -f /home/omm/XXX.sql

3.物理备份（分布式集群验证）

集中式单节点不支持该工具。
GaussRoach.py工具是GaussDB(for openGauss)提供的用于备份和恢复的实用工具。可对整个数据库中的数据、WAL归档日志和运行日志进行备份。
GaussRoach.py工具是一款数据库高可用性以及容灾恢复策略的备份管理工具。使用该工具可以备份恢复数据库；不仅可以备份到物理磁盘，也可以备份到OBS、NBU和EISOO。数据库级备份包含数据库静态配置文件（cluster_static_config），数据库动态配置文件（cluster_dynamic_config），数据节点DN（Datanode）及其备实例。
备份需在集群主节点执行
前提：集群级备份前，需要执行如下命令开启集群归档模式
脚本路径：XXX/data/cluster/tools/script/GaussRoach.py
开启归档命令：python3 GaussRoach.py -t config --archive=true -p
开启归档：
在这里插入图片描述
1：全量备份

python3 GaussRoach.py -t backup --master-port 7000 --media-destination /home/omm/media --media-type DISK --compression-type 2 --compression-level 5 --metadata-destination /home/omm/meta

-t:Roach接口支持多种功能。指定该参数为backup，表示调用备份功能。
-media-type：-备份所需的介质类型。

  • NBU
  • Disk（磁盘）
  • EISOO
  • OBS
  • NAS
    –compression-type：
    压缩类型
    1：zlib
    2：lz4
    默认：–compression-type 2
    –compression-level
    压缩级别。
    0代表快速或无压缩。
    9代表慢速或最大压缩。
    说明
    值越小，压缩越快。值越大，压缩越好。
    表级备份不支持压缩。
    默认：–compression-level 5
    –media- destination:指定介质的目的备份路径。
  • Disk（磁盘）：
  • NBU：样例策略
  • EISOO：roach
  • OBS：不生效
  • NAS：挂载的NAS共享盘路径

说明：

  • 使用备份数据库到EISOO时，确保已放入正确版本的libgaussdbmml.so

  • 使用备份数据库到NAS时，确保数据库实例上所有节点的指定路径挂载的是同一个NAS共享盘

  • 对于磁盘：–media-destination /home/cam/backup

  • 对于NBU：–media-destination Samplepolicy

  • 对于EISOO：roach

  • 对于NAS：–media-destination /home/cam/backup

–metadata-destination：

元数据文件位置。
–metadata-destination /home/username

  • 对于数据库级备份，必须提供介质类型、目标介质和主代理端口，否则Roach工具会报错。
  • 当前版本不支持表级备份功能，包括单表备份和多表逻辑备份。
  • 数据库级备份前，请执行如下命令检查数据库运行状态，cluster_state为Normal时表示数据库正常运行，可以备份数据库。

全量物理备份成功：
在这里插入图片描述
备份类型需要根据传入的变量进行判断
增量备份（需要在全量备份的基础上来做） 磁盘备份:
去全量备份的磁盘目录看下全量备份的名称后填写
在这里插入图片描述

[omm@gaussdb02 script]$ [omm@gaussdb02 script]$ python3 GaussRoach.py -t backup --master-port 7000 --media-destination /home/omm/media --media-type DISK --compression-type 2 --compression-level 5 --metadata-destination /home/omm/meta --prior-backup-key 20221125_102746 --validate-prior-backups force

备份成功：
在这里插入图片描述

查看物理全量备份集：

[omm@gaussdb02 script]$ python3 GaussRoach.py -t show --related-backup-keys --metadata-destination /home/omm/meta/ --backup-key 20221125_102746

在这里插入图片描述

查看物理增量备份集：

python3 GaussRoach.py -t show --related-backup-keys --metadata-destination /home/omm/meta/ --backup-key 20221125_104547

在这里插入图片描述

查看所有备份集（该命令无法确定备份是否有效）

[omm@gaussdb02 script]$ python3 GaussRoach.py -t show --all-backups --metadata-destination /home/omm/meta

在这里插入图片描述

停止物理备份：

Roach也兼容使用python3 GaussRoach.py –t stop –F命令停止备份，有-F和无-F参数的执行结果相同。

  • 如果有一个全量备份和一个增量备份同时执行，那么stop操作会一起停止这两个备份任务。
    -命令示例
python3 $GPHOME/script/GaussRoach.py -t stop

使用物理备份集恢复数据库：

1.查看备份状态：

python3 GaussRoach.py -t show --all-backups --metadata-destination /home/omm/meta

在这里插入图片描述
2.执行恢复脚本：

python3 GaussRoach.py -t restore --clean --master-port 7000 --media-destination /home/omm/media --media-type DISK --backup-key 20221125_102746 --metadata-destination /home/omm/meta

在这里插入图片描述
查看集群状态：
在这里插入图片描述

3.执行恢复脚本成功后，必须执行命令启动集群，否则集群无法启动

python3 GaussRoach.py -t start

在这里插入图片描述

问题记录：

物理备份（Roach）失败[GAUSS-53403] ：
Parsing the configuration file.
**[GAUSS-53403]** : Cluster balance check failedbackup cannot continue when the cluster is not balance
Roach operation backup failed.
正在分析配置文件。

[GAUSS-53403]：群集平衡检查失败当群集不平衡时，备份无法继续

漫游操作备份失败。

查看集群状态：
balanced显示为NO，当前集群不平衡，不平衡原因可能是发生过切换或者其他原因导致。
在这里插入图片描述
balanced：平衡状态。显示是否有数据库实例发生过主备切换而导致主机负载不均衡。

  • Yes：表示数据库处于负载均衡状态。
  • No：表示数据库未处于负载均衡状态。

执行命令恢复数据库初始状态（目前为测试环境，生产不使用此命令）

gs_om -t switch --reset

在这里插入图片描述
变为yes就可以进行备份了。
在这里插入图片描述
MM不要山
关注
【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.2.3-Ustore引擎
junbaozi的专栏
10-31 10
Ustore属于In-place Update更新模式，中文意思为：原地更新，是openGauss内核新增的一种存储模式。openGauss内核当前使用的行引擎采用的是Append Update（追加更新）模式，该模式在INSERT、DELETE、HOT UPDATE（页面内更新）的场景下有较好的表现。但对于非HOT UPDATE场景，垃圾回收不够高效。In-place Update存储模式提供“原地更新”能力，主要思路是将最新版本的“有效数据”和历史版本的“垃圾数据”分离存储。
高斯多种备份/迁移方式
weixin_45366157的博客
11-01 3334
批量导出模式名A、B的建表，函数，视图meta及权限gs_dump -h hostname 数据库名 -p端口 -U用户 -W密码 -f 文件名 -n 模式名A -n 模式名B -s -F p --skip-user-check批量导出表A、B的建表meta及权限gs_dump -h hostname 数据库名 -p端口 -U用户 -W密码 -f 文件名 -t 表名A -t 表B -s -F p --skip-user-check批量导出表A、B的建表meta及权限及数据。
GaussDB数据库的备份与恢复
Gauss松鼠会
05-27 2175
gs_dump是一款用于导出数据库相关信息的工具，支持导出完整一致的数据库对象（数据库、模式、表、视图等）数据，同时不影响用户对数据库的正常访问。
gaussdb 物理备份恢复【gs_rman 备份】【03】
qq_42226855的博客
08-26 375
备份 gs_rman支持在线备份，它主要包含三种备份类型：全量备份、增量备份和备份WAL归档日志。在每一次备份后都应使用validate命令进行验证。 前提条件 已参照初始化配置完成备份目录初始化；在每个时间线上的增量备份和WAL归档日志备份之前必须至少完成了一次全量备份；gs_rman与gaussdb在部署同一台服务器上。 参数说明 备份时特有的参数 参数名/缩写 描述 -b / --b
Gaussdb(DWS)表备份到OBS，并可通过外表访问
dba笔记
05-06 601
使用华为云OBS存储服务，将一些历史表备份至OBS，然后在数仓创建外表直接访问obs上的备份，这样就可以删除存在DWS上的历史表，释放空间，提高有效存储空间的利用率。
GaussDB数仓高可用容灾利器之逻辑备份
jnrjian的博客
05-10 424
技术解读丨GaussDB数仓高可用容灾利器之逻辑备份 华为云开发者社区 ​ 已认证帐号 摘要：GaussDB数仓的Roach工具，同时提供物理备份和逻辑备份两种主要形态的备份。逻辑备份针对数据库的逻辑对象进行抽取和备份，能够有效地应对单表、schema级等较细粒度的备份，较为灵活和便利。 一、简介 在大数据时代，数据的完整和可靠性成为一个数仓最核心的能力之一。GaussDB数仓以其出众的分布式计算和存储能力广受用户青睐的同时，也特别着眼于数据备份容灾领域的创新和打磨。数据的可靠性可以说是数仓的“
【GaussDB】普通备份恢复
weixin_43346403的博客
04-08 586
5.启动数据库另外一种方法。3.恢复数据到磁盘。
HCIA-GaussDB（H13-911）教材V1.5.zip
04-15
HCIA-GaussDB（H13-911）教材V1.5是一个全面介绍华为GaussDB数据库技术的基础教程，适用于对数据库技术感兴趣或准备参加HCIA-GaussDB认证考试的学习者。这个压缩包包含了丰富的学习资源，帮助读者深入理解数据库理论...
HCIA-GaussDB V1.5教程：数据库技术深入解析
资源摘要信息:"HCIA-GaussDB V1.5视频教程.zip文件是关于华为数据库GaussDB的技术教学视频教程，主要内容覆盖了数据库的基础知识、GaussDB的特点与操作，以及数据库设计与安全等方面。文件提供了详细的教学目录，...
【GaussDB】初始GaussDB和GaussDB版本介绍
热门推荐
废物点心的博客
03-09 1万+
文章目录初始GaussDBGaussDB的版本GaussDB版本的区别OLTP和OLAP比较GaussDB T介绍GaussDB A 介绍MPP架构介绍架构组件介绍 初始GaussDB 名字的由来：GaussDB是华为数据库产品品牌名，致敬数据加高斯（Gauss） GaussDB的版本 GaussDB 100：目前暂不发布，公司合作伙伴需向华为提交申请 GaussDB 200：目前官方可下载 G...
GaussDB
lanlingxueyu的博客
01-31 927
数据库管理系统是一个能够科学地组织和存储数据，高效地获取和维护数据的系统软件，是位于用户与操作系统之间的数据管理软件，其主要功能包括： 数据定义功能； 数据组织、存储和管理功能； 数据操纵功能； 数据库的事务管理和运行管理功能； 数据库的建立和维护功能； 与其他软件系统的通信功能等。
GaussDB使用指导
最新发布
Oliviahome的博客
09-18 840
当某个值没有前面的参数（-d、-U等）时，若连接的命令中没有指定数据库名（-d）则该参数会被解释成数据库名；集中式数据库实例中，连接主DataNode时可以把DataNode的IP地址使用逗号分割全部添加到-h后，gsql将依次从前往后连接每个IP地址，查询当前DataNode是否为主DataNode，如果不是则断开连接尝试下一个IP地址，直到找到主DataNode为止。gsql工具使用-d参数指定目标数据库名、-U参数指定数据库用户名、-h参数指定主机名、-p参数指定端口号信息。
GaussDB云数据库极简版安装与使用-新手指南
Gauss松鼠会
04-02 3410
作为一款领先的企业级数据库管理系统，GaussDB 提供了强大的性能、高度可靠性和丰富的功能，是企业构建可靠、高性能的数据库解决方案的理想选择。
GaussDB 200单机实例安装使用教程【入门必看】
留歌__36的博客
05-22 1万+
写在前面 GaussDB的产品，最初GaussDB的产品定义有三大产品线系列GaussDB 100、GaussDB 200、GaussDB300，简单介绍下： 1）GaussDB 100：主要以OLTP为主。目前该产品已经应用在招商银行。在 2020年6月，将会开源单机版本； 2）GaussDB 200：以OLAP为主，兼顾OLTP。该产品以 PostgreSQL 为出发点，面向 MPP 研发，目前已经在工商银行得到上线应用。 3）GaussDB 300：以 HTAP 为方向，是企业级分布式HTAP数据库（
GaussDB T 0 1级备份 类似rman
jnrjian的博客
11-10 441
0级备份的控制文件中信息是比较旧的。我们可以看到此时恢复到的点居然是：onsistent point 27160 这比之前归档存在的情况下恢复的点要小的多；缺乏严格的校验机制。再进行restore恢复时，正确的姿势是直接使用增量备份进行恢复；这里比较奇怪的是以为指定是备份集文件名字，其实是会创建该名称的目录，然后在目录下存放备份文件；而该控制文件肯定没有注册最新的增量信息，因此导致后面的增量无法应用。可以看到可以恢复出最新的数据。我们可以看到restore时直接使用增量备集时可以恢复到最新时间点的数据的。
GaussDB入门
喝醉酒的小白
05-28 2463
总结来说，主备集群适用于常规的高可用需求，提供数据冗余和故障恢复能力，而分片集群则适用于大规模数据和高并发负载的场景，提供水平扩展和分布式查询的能力。选择适合的架构取决于你的应用需求和规模。GaussDB是华为开发的一种分布式关系型数据库管理系统。GaussDB支持主备集群和分片集群两种部署模式，它们在功能和架构上有一些区别。
gaussdb 物理备份恢复【gs_rman 查看、删除备份】【05】
qq_42226855的博客
08-31 477
1. 查看备份文件信息 查看、删除备份时特有选项 参数名 描述 timeline 查看备份文件的时间线。 DATE 查看指定的备份文件的详细信息。 取值范围：备份的开始时间，即使用gs_rman show命令查看到的开始时间（start）。 默认值：如果没有指定，将持续还原到最新的备份时间。 查看、删除备份时公共参数 参数名/缩写 描述
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值