GCDW 迁移工具

一、介绍

适用于86/95版本向GCDW进行迁移

二、参数

1.元数据迁移gcluster_sync_metadata.py

-h，--help
-v，--version
--master_mpp_ip	8a要连接的coor节点ip	必填
--master_mpp_port	8a数据库进程端口	默认5258
--slave_mpp_ip	gcdw要连接的coor节点ip	必填
--slave_mpp_port	gcdw数据库进程端口	默认5258
--database_user	8a迁移时的用户名
--master_mpp_gc_pw	8a数据库用户密码
--gcdw_datauser	gcdw迁移时的用户名
--slave_mpp_gc_pw	gcdw数据库用户密码
--vc_name	迁移指定的vc名，一次只能迁一个vc
--file_name	gcdump导出的sql文件名
--is_v95	8a集群版本	默认95
--is_v862	8a集群版本
--table	迁移vc库表元数据	选填
--view	迁移视图元数据	选填
--event	迁移event元数据	选填
--routine	迁移function和procedure元数据	选填
--synonym	迁移同义词	选填
--variables	导出集群参数	选填
--trans_owner	对table执行转移所有者	选填

如果不指定--table等选填参数，则默认迁移所有元数据（包括库表、视图、事件、存储过程和函数，不包括表owner和集群参数）

2.数据迁移gcluster_rsynctool.py

-h，--help
-v，--version
--master_mpp_ip	8a要连接的coor节点ip	必填
--master_mpp_gc_port	8a gc层端口号	默认5258
--master_mpp_gn_port	8a gn层端口号	默认5050
--slave_mpp_ip	gcdw要连接的coor节点ip	必填
--database_user	8a迁移时的用户名	必填
--slave_mpp_gc_port	gcdw gc层端口号	默认5258
--slave_mpp_gn_port	gcdw gn层端口号	默认5050
--master_mpp_gc_pwd	8a数据库用户密码	默认000000
--slave_mpp_gc_pwd	gcdw数据库用户密码	默认000000
--sync_vc_name	要迁移的vc名	必填
--database_user	8a迁移时的用户名	必填
--table_list_file	指定迁移列表文件	必填
--table_parallel_degree	迁移表的并行度	默认为1，范围1~128
--retry_times	迁移一个表时，失败后的重试次数	默认为0，范围0~10
--error_table_list_file	指定迁移失败列表的文件名
--log_name	迁移输出日志文件名
--log_level	迁移日志输出等级	默认3，[0,5]
--slave_create_table_if_not_exists	gcdw集群表不存在时自动建表
--connection_timeout	连接时间	默认600s，[10,1800]
--gcdw_datauser	gcdw迁移时的用户名	必填
--gcdw	云仓迁移标记	必填
--clean_mstable	清除在fdb元数据
--last_sync	是否是最后一次同步
--gcdw_warehouse_name	迁移时的warehouse	默认wh1
--master_version	8a集群的版本	V86 or V95，默认V95
--sync_server_port	8a gc_sync_server 的端口号	默认5388

3.一致性校验gcluster_rsynctool_check.py

-h，--help
-v，--version
--master_mpp_ip	8a要连接的coor节点ip	必填
--mpp_gc_port	8a gc层端口号
--slave_mpp_ip	gcdw要连接的coor节点ip	必填
--gcdw_gc_port	gcdw gc层端口号
--master_mpp_gc_pwd	8a数据库用户密码
--slave_mpp_gc_pwd	gcdw数据库用户密码
--sync_vc_name	要迁移的vc名	必填
--database_user	8a迁移时的用户名	必填
--check_table_list_file	指定检查列表文件	必填
--gcdw_datauser	gcdw迁移时的用户名	必填
--gcdw_warehouse_name	迁移时的warehouse	默认wh1
--master_version	8a集群的版本	默认V95,V86/V95

三、示例

python gcluster_sync_metadata.py --master_mpp_ip=10.10.11.88 --database_user=root --master_mpp_gc_pw=111111 --slave_mpp_ip=10.10.15.74 --gcdw_datauser=root --slave_mpp_gc_pwd=111111 --vc_name=vc1 --table

python gcluster_rsynctool.py --master_mpp_ip=10.10.11.88 --database_user=root --master_mpp_gc_pwd=111111 --slave_mpp_ip=10.10.15.74 --gcdw_datauser=root --slave_mpp_gc_pwd=111111 --table_list_file=test.txt --sync_vc_name=vc1 --gcdw_warehouse_name=wh1 --log_level=5 --gcdw

python gcluster_rsynctool_check.py --master_mpp_ip=10.10.11.88 --database_user=root --master_mpp_gc_pwd=111111 --slave_mpp_ip=10.10.15.74 --gcdw_datauser=root --slave_mpp_gc_pwd=111111 --check_table_list_file=test.txt --sync_vc_name=vc1 --gcdw_warehouse_name=wh1

注：迁移过程中由于各种原因失败后，想要再次进行迁移，需要指定--clean_mstable清楚掉fdb残留的元数据信息，并删除对应的表