Greenplum生产环境信息同步到test环境中

目录

1 安装需要准备的环境

2 备份用户信息

3 备份数据库信息

4 备份schema和function与table的结构信息

5 生产与测试环境同步数据

5.1 打通生产与测试环境master节点的免密

5.2 编写同步表的文件

5.3 编写host文件

5.4 同步数据

---

最近测试环境进行了重新安装,需要把生产上的信息同步到测试环境下,整理此思路。同步需要在相同大版本下执行

1 安装需要准备的环境

1.1 安装oracle常用函数
1.2 安装pljava扩展插件
1.3 安装get_table_structure函数
1.4 安装dblink常用函数
1.5 安装madlib库
************

2 备份用户信息
 

pg_dumpall -h hostname -p port -U username  -g  -f  filename

--
-- Greenplum Database cluster dump
--

\connect postgres

SET client_encoding = 'UTF8';
SET standard_conforming_strings = on;

--
-- Roles
--

CREATE ROLE ******;
ALTER ROLE ****** WITH NOSUPERUSER INHERIT NOCREATEROLE NOCREATEDB LOGIN PASSWORD 'md51dc3eb975e5228e9f479eff******';
CREATE ROLE ******;
ALTER ROLE ****** WITH NOSUPERUSER INHERIT NOCREATEROLE NOCREATEDB LOGIN PASSWORD 'md57d0bf5a0f957489647878be******';
********


hostname : 服务器host
port : 端口
username  : gp用户
filename : 需要保存的文件

3 备份数据库信息
 

pg_dumpall -h hostname -p port -U username  -s  -f  filename

--
-- Greenplum Database cluster dump
--

\connect postgres

SET client_encoding = 'UTF8';
SET standard_conforming_strings = on;

--
-- Roles
--
**
--
-- Database creation
--
*******


hostname : 服务器host
port : 端口
username  : gp用户
filename : 需要保存的文件

4 备份schema和function与table的结构信息

time pg_dump -h hostname -p port -s -n schemaname -U username  dbname  -f  filename

--
-- Greenplum Database database dump
--

SET statement_timeout = 0;
SET client_encoding = 'UTF8';
SET standard_conforming_strings = on;
SET check_function_bodies = false;
SET client_min_messages = warning;

SET default_with_oids = false;

--
-- Name: ods; Type: SCHEMA; Schema: -; Owner: gpadmin
--

CREATE SCHEMA ods;
*********************


hostname : 服务器host
port : 端口
username  : gp用户
dbname  : db名字
filename : 需要保存的文件

5 生产与测试环境同步数据

5.1 打通生产与测试环境master节点的免密

gpssh-exkeys -h host1 -h host2

host1 : 生产集群master节点
host2 : 测试集群master节点

5.2 编写同步表的文件

vim syn_table_list
chin***.schema1.tablename
*****

5.3 编写host文件

$ cat  source_host_map_file 
gpsdw1,192.168.***.**
gpsdw2,192.168.***.**
gpsdw3,192.168.***.**
gpsdw4,192.168.***.**

5.4 同步数据

time  gptransfer --source-host=192.168.***.** --source-port=5432 --source-user=gpadmin -f syn_table_list --source-map-file=source_host_map_file -a --dest-host=192.168.***.** --dest-port=5432 --dest-database=chin*** --truncate