记录一次mysql迁移数据至greenplum的过程

测试环境Ubuntu16.04，基于mysql和greenplum在同一台服务器上（ 当然也可以通过外网或者局域网）。安装greenplum链接 http://blog.csdn.net/wayne_primes/article/details/79414936

首先感谢对mysql2gpsql开源软件奉献的大牛们
该项目成员

该项目由阿里云 PostgreSQL 小组开发，为 PostgreSQL 世界贡献一份力量

1. PM & 架构设计 曾文旌（义从）
2. PD 萧少聪（铁庵）
3. TESTER & 技术支持 周正中(德歌)
4. DEV 张广舟（明虚）曾文旌（义从）

mysql2pgsql开源文档

https://github.com/aliyun/rds_dbsync/releases?spm=a2c4g.11186623.2.4.yOPYKd

mysql2pgsql参数文档

https://github.com/aliyun/rds_dbsync/blob/master/doc/mysql2gp.md

mysql2pgsql问题答疑

https://github.com/aliyun/rds_dbsync/issues?q=is%3Aissue+is%3Aclosed

mysql2pgsql 用法

mysql2pgsql 的用法如下所示：

/ mysql2pgsql - l <tables_list_file> - d - n - j < number of threads > - s < schema of target able >

执行如下命令， 同步一个库中所有表 ：

/mysql2pgsql

参数说明：

• -l：可选参数，指定一个文本文件，文件中含有需要同步的表；如果不指定此参数，则同步配置文件中指定数据库下的所有表。<tables_list_file>为一个文件名，里面含有需要同步的表集合以及表上查询的条件，其内容格式示例如下：

table1 : select * from table_big where column1 < '2016-08-05'

table2 :

table3

table4 : select column1 , column2 from tableX where column1 != 10

table5 : select * from table_big where column1 >= '2016-08-05'

• -d：可选参数，表示只生成目的表的建表 DDL 语句，不实际进行数据同步。
• -n：可选参数，需要与-d 一起使用，指定在 DDL 语句中不包含表分区定义。
• -j：可选参数，指定使用多少线程进行数据同步；如果不指定此参数，会使用 5 个线程并发。
• -s：可选参数，指定目标表的 schema，一次命令只能指定一个 schema。如果不指定此参数，则数据会导入到 public 下的表。

首先下载mysql2pgsql

wget https://github.com/aliyun/rds_dbsync/files/919279/mysql2pgsql.bin.el6.20170413.tar.gz

解压后进入到bin目录下，按需求修改my.cfg

注意： 源库 mysql 的连接信息中，用户需要有对所有用户表的读权限。（ 按需修改 ）

[ src . mysql ]

host = "192.168.1.1"

port = "3306"

user = "test "

password = "test"

db = "test"

encodingdir = "share"

encoding = "utf8"

目的库 pgsql （包括 Postgresql、PPAS 和 HybridDB for PostgreSQL ）的连接信息如下：

注意： 目的库 pgsql 的连接信息，用户需要对目标表有写的权限。

[ desc . pgsql ]

connect_string = "host=192.168.1.1 dbname=test port=5888 user=test password=pgsql"

典型用法

例如我期望从源mysql端的test1数据库中同步user_info表中的所有信息

首先执行./mysql2gpsql -d #用于读取my.cfg配置指定源数据库中的所有表的DDL表结构。

例如

CREATE TABLE user_info (user_id int4, feedback_userid text, feedback_username text, feedback_content text, feedback_time timestamp, create_time timestamp, update_time timestamp, del_flg text) with (APPENDONLY=true, ORIENTATION=column, COMPRESSTYPE=zlib, COMPRESSLEVEL=1, BLOCKSIZE=1048576, OIDS=false) DISTRIBUTED BY (<distribution key>) PARTITION BY RANGE (<partition key>) (START (date '<YYYY-MM-DD>') INCLUSIVE END (date '<YYYY-MM-DD>') EXCLUSIVE EVERY (INTERVAL '<1 month>' ));

通过./mysql2pgsql -d命令获取的mysql表结构信息不完整，例如表的注释，主键，字段注释等都不会获取到，所以需要复制你所需的建表信息并加以修改,在greenplum端先用列出来的建表信息加以修改之后并执行，如果目的数据库中没有对应的表的话，执行同步命令会失败，所以必须先对应建立每一张表

例如

CREATE TABLE user_info (user_id int4, feedback_userid text, feedback_username text, feedback_content text, feedback_time timestamp, create_time timestamp, update_time timestamp, del_flg text,

CONSTRAINT "user_info_pkey" PRIMARY KEY ("user_id"))

WITH (OIDS=FALSE);

ALTER TABLE "public"."user_info" OWNER TO "gpadmin";

COMMENT ON TABLE "public"."user_info" IS '用户表(全局)';

COMMENT ON COLUMN "public"."user_info"."user_id" IS '用户编号';

创建完毕后在mysql2pgsql的根目录，创建一个tables_list_file文件用于同步

例如 table_lists.txt

table_lists.txt文件中内容：

user_info : select * from user_info

执行同步命令mysql2gpsql

主要注意的是

源库 mysql 的连接信息中，用户需要有对所有用户表的读权限

目的库 pgsql 的连接信息，用户需要对目标表有写的权限

./mysql2gpsql -l table_lists.txt

以上就是我在工作中使用到的mysql迁移其中一张表至greenplum的过程。

如果需要迁移所有库，所有表，需要大量的时间投入，建表，加主键，同步，验证数据完整性。

PS：运维工作并不是键盘敲的快才算牛，细心谨慎认真对待每一份工作。不论是工作也好，还是生活。