一: 简介
1. 为什么需要 DW Automation?
数据仓库中,通常所涉及的数据来源非常多,同时所需要加载的数据良非常大。
2. DW Automation能为我们做什么?
判断条件是否满足,然后自动执行。
3. ETL Automation是TD二次开发的一个用于自动化完成数据ETL等作业的Tool
ETL : data extration, transformation and loding, 是对数据进行加载抽取,
二: 架构
1. DW 组成
由6个Windows Service 支撑
ETLMAS ,ETLRCV ,ETLAGT ,ETLCLN ,ETLMSG ,ETLWDG ,ETLSCH(主)
3个重要进程:
etlslave_nt.exe
etl_nt.pm
gftp_nt.pm
三: ETL任务设计
作业触发机制
作业被触发的几种方式
(1)通过作业的触发关系自动触发【job stream 1:1 , 1:N】
(2)通过作业的群组关系触发【job group N:1】
(3)通过脚本生成控制文件自动触发
可以处理需要数据文件的作业
(4)通过图形操作界面手工触发
Q: 名词解释
45库(测试库) ,标签库(上海移动的产品) ,4A平台 ,AS
1. 为什么需要 DW Automation?
数据仓库中,通常所涉及的数据来源非常多,同时所需要加载的数据良非常大。
2. DW Automation能为我们做什么?
判断条件是否满足,然后自动执行。
3. ETL Automation是TD二次开发的一个用于自动化完成数据ETL等作业的Tool
ETL : data extration, transformation and loding, 是对数据进行加载抽取,
清洗、转换整合的过程。 通过ETL的过程,数据从联机事务处理系统、外部数据源、
脱机数据存储介质中导入到数据仓库。二: 架构
1. DW 组成
由6个Windows Service 支撑
ETLMAS ,ETLRCV ,ETLAGT ,ETLCLN ,ETLMSG ,ETLWDG ,ETLSCH(主)
3个重要进程:
etlslave_nt.exe
etl_nt.pm
gftp_nt.pm
三: ETL任务设计
作业触发机制
作业被触发的几种方式
(1)通过作业的触发关系自动触发【job stream 1:1 , 1:N】
(2)通过作业的群组关系触发【job group N:1】
(3)通过脚本生成控制文件自动触发
可以处理需要数据文件的作业
(4)通过图形操作界面手工触发
Q: 名词解释
45库(测试库) ,标签库(上海移动的产品) ,4A平台 ,AS