1. Postgres 资料参考:
2. 消息推送用户标签迁移测试准备工作
2.1. 前提:
线上sql已经开发完成
测试数据库环境搭建完成
2.2. 主要工作:
2.2.1. mysql2udw工具暂时无法指定字段,源表和目标表表字段不一致报错。
ods表结构:从源库导入
中间表表结构:从线上pg库导入
2.2.2. 准备mysql2udw.sh测试调度任务脚本:
保留用户标签需要的源表和数仓中间表: 文档底部列出用户标签的相关的源表和中间表清单:
2.2.3. 准备ods表抽数配置文件yaml,修改环境信息和抽数方式
只导表数据,全量抽取,抽取前清空数据
supress_data: false
supress_ddl: true
force_truncate: true
2.2.4. 备注
开发负责的表均替换成正式命名的表:
tag_user_temp
tag_member_temp
tag_user
中间表:f_order_item,d_user,f_user_list有调整(删除跟用户标签取值不相关的源表),其余中间表etl脚本与线上一致。
etl脚本需要单独从git_lab:bi_etl_dev/etl 导到测试服务器。
2.2.5. 中间表抽数方式
tag_user表:1 会员属性的标签全量更新。2 普通用户的标签必须增量更新
其余中间表全量更新。
2.2.6. 相关脚本上传路径:
测试调度任务脚本mysql2udw_dev.sh: /data/scripts/mysql2udw_dev.sh
源数据抽取配置文件yaml: /home/hjmrunning/bi_etl_dev/ods_mysql2udw/ 维度表:/home/hjmrunning/bi_etl_dev/dw_sqldesign/dw_demension
事实表:/home/hjmrunning/bi_etl_dev/dw_sqldesign/dw_fact
git_lab:bi_etl_dev/mysql2udw_dev.sh >>