mysql到pg库数据迁移_postgres安装及实现mysql到pg的数据迁移

1. Postgres 资料参考：

2. 消息推送用户标签迁移测试准备工作

2.1. 前提：

线上sql已经开发完成

测试数据库环境搭建完成

2.2. 主要工作：

2.2.1. mysql2udw工具暂时无法指定字段，源表和目标表表字段不一致报错。

ods表结构：从源库导入

中间表表结构：从线上pg库导入

2.2.2. 准备mysql2udw.sh测试调度任务脚本：

保留用户标签需要的源表和数仓中间表： 文档底部列出用户标签的相关的源表和中间表清单：

2.2.3. 准备ods表抽数配置文件yaml,修改环境信息和抽数方式

只导表数据，全量抽取，抽取前清空数据

supress_data: false

supress_ddl: true

force_truncate: true

2.2.4. 备注

开发负责的表均替换成正式命名的表：

tag_user_temp

tag_member_temp

tag_user

中间表：f_order_item,d_user,f_user_list有调整(删除跟用户标签取值不相关的源表),其余中间表etl脚本与线上一致。

etl脚本需要单独从git_lab:bi_etl_dev/etl 导到测试服务器。

2.2.5. 中间表抽数方式

tag_user表：1 会员属性的标签全量更新。2 普通用户的标签必须增量更新

其余中间表全量更新。

2.2.6. 相关脚本上传路径：

测试调度任务脚本mysql2udw_dev.sh： /data/scripts/mysql2udw_dev.sh

源数据抽取配置文件yaml: /home/hjmrunning/bi_etl_dev/ods_mysql2udw/ 维度表：/home/hjmrunning/bi_etl_dev/dw_sqldesign/dw_demension

事实表：/home/hjmrunning/bi_etl_dev/dw_sqldesign/dw_fact

git_lab:bi_etl_dev/mysql2udw_dev.sh >>