GreenPlum备份与恢复

GreenPlum备份与恢复

背景知识

逻辑备份保证了库级别的全局一致性,使用了MVCC来得到保障。

需要锁定元数据(catelog AccessShareLock),同时对备份对象加AccessShareLock锁,不允许drop已有的表,Alter已有的表结构,truncate已有表等操作(只允许AccessShareLock不冲突的操作)。

但是可以在备份启动,并加载完所有的accessshare lock后,新增表,以及对新增的表做任何DDL DML操作。

非并行数据备份恢复

继承自Postgresql的逻辑备份恢复工具
逻辑备份:pg_dump,pg_dumpall,恢复时pg_restore
备份
# 备份数据库 -s 只备份表结构
pg_dump -h ip地址 -d 数据库 -s -U用户名 -w -f 备份文件.sql
# 指定表备份数据
pg_dump -h ip地址 -d 数据库 -U用户名 -w -t shcema.table1 -t shcema.table2 -f  备份文件.sql

恢复

1. pg_restore -h ip地址 -U用户名 -C -d 数据库 备份文件.sql
2. psql -f 备份文件.sql dbname

并行数据备份恢复

gpbackup和gprestore
在GPDB4.3.22之后
在GPDB5.5和之后
在GPDB6.x
数据备份gpbackup

gpbakup需要自行安装

元数据备份文件
创建一个单独的元数据文件
●文件名: gpbackup_ [t imestamp]_ _metadata .sql
非常重要,设置read-only权限禁 止手动修改
如果指定了--with-stats,创建 单独的文件保存统计信息
●文件 名: gpbackup_ [timestamp]_ statistics.sql

多文件模式下数据文件格式:
gpbackup_3_20191031141754_ 1745579.gz
●gpbackup
   标准文件名前缀
●3、
   对应segment的content_ id
●20191031141754
   备份时间戳
● 1745579
备份表的OID,使用OID可以比较好的处理表名含特殊字符的情况
数据恢复gprestore

gprestore需要自行安装

示列

gprestore --timestamp 20190812202110 --redirect-db restoretest --create-db

增量备份

对AO表,AOCO表以及分区AO表的支持

目前,增量备份仅支持AO表和AOCO表在全量备份后执行如下操作。

  • ALTER Table
  • DELETE
  • INSERT
  • TRUNCATE
  • UPDATE
  • DROP and then re-create the table

对于分区AO表,不会备份全表的内容,而只备份修改过的分区

Heap表不支持增量备份

使用示列

gpbackup --dbname backuptest --compression-level 8 --incremental --leaf-partition-data

并行在线集群间数据迁移

gpcopy安装

https://blog.csdn.net/qq_42957844/article/details/103235035

逻辑备份通用问题

如果长时间的执行逻辑备份,可能影响一些ETL或者BI类型的业务(这类业务可能会在过程中 truncate 老表,加载数据等)。

建议这类需求,可以换成使用TEMP TABLE来避免锁冲突。

《PostgreSQL 逻辑备份一致性讲解 - Why pg_dump backup a database in consistent status》

不管哪种方法的逻辑备份,都存在一种问题:如果长时间的执行逻辑备份,可能影响一些ETL或者BI类型的业务(这类业务可能会在过程中 truncate 老表,加载数据等)。 建议这类需求,可以换成使用TEMP TABLE来避免锁冲突。

参考博客:
https://blog.csdn.net/mavs41/article/details/52023175
https://blog.csdn.net/qq_42957844/article/details/103235035
https://github.com/digoal/blog/blob/master/201205/20120511_01.md

发布了13 篇原创文章 · 获赞 0 · 访问量 1000
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术工厂 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览