走进大数据之 ETL

开发环境准备 ：
开发需检查以下环境是否ready:
SAP开发用测试数据源准备就绪。
数据仓库的Oracle（MySQL）数据库准备就绪，ETL要加载的表已创建。
ETL Server的相关软件(DataStager Server及MetaStage)已安装就绪。
ETL Server与SAP数据源及目标Oracle数据库的连接已通过测试。
在ETL Server上创建与Oracle连接的ODBC已创建。
在ETL Server上创建开发人员的用户。
在ETL Server上设置共享使开发人员可以访问的中间文件目录。

开发步骤
日常数据加载
开发ETL mapping文档确定每个源表的数据抽取规则(确定增量还是完全抽取)
开发ETL mapping文档完成源-EXF-CIF对照关系及CIF-PLF-目标的对照关系
开发Component JOB完成ETL每个子任务
开发Group Job完成对Component Job的封装
开发Job Dependence文档定义Group Job之间的依赖关系
根据Job Dependence文档开发Sequencer Job
根据Sequencer Job开发对应的Schedule Job
根据业务状况设定合适的Schedule自动完成批量数据表的加载

初始数据加载
确定需要开发初始抽取的数据源范围，即列出需要开发初始加载程序的数据源列表
开发相应的ETL抽取JOB
开发相应的Group Job完成ETL抽取及变换任务的封装
根据Job Dependence文档开发Sequencer Job
手动运行Sequencer Job完成批量数据表加载

历史数据加载
只有细节表才可能要求有历史数据加载