ETL 开发流程和交付物

• ETL 开发流程和交付物

  • 1.0确定需求 –这个过程要理解从用收集来的业务需求，如果数据源确定，对这个过程有很大的裨益。.
    • 交付物
      • 对数据抽取，转换，加载的逻辑描述。
    • 标准
      • 对ETL业务需求进行文档化，可以使用ETL业务需求模板，也可以使用自定的规范化模板模板。
    • 模板
      • ETL业务需求规格说明模板
  • 2.0 物理化设计 – 这个过程要确定输入和输出并且文档华数据的规格。同时，要确定源和目标的位置，记录文件/表的存储信息，数据量的信息，描述数据如何转化。
    • 交付物
      • 输入和输出字段的设计
      • 源和目标的位置
      • 文件/表的存储信息
      • 文件/表的数据量信息
      • 描述数据如何转化的文档
    • 标准
      • 完成上一步中ETL业务需求规格说明书.
      • 创建ETL Mapping 规格说明书
    • 模板
      • ETL业务需求规格说明模板
      • ETL Mapping 规格说明模板
  • 3.0 制定测试计划 – 理解数据整合后的预期结果，并考虑错误的检测，决定使用多少测试用例，清楚风险，安全问题及测试的业务需求。
    • 交付物
      • ETL 测试计划
      • ETL 性能测试计划
    • 标准
      • 使用以下两个模板制定ETL的测试计划和性能测试计划或使用自定义模板。
    • 模板
      • ETL 测试计划模板
      • ETL 性能测试计划模板
  • 4.0 创建ETL处理工作流– 创建实际的Informatica ETL 处理过程。开发人员要在这个过程中要进行一些测试的工作。
    • 交付物
      • Mapping 规格说明
      • Mapping
      • Workflow
      • Session
    • Standards
      • 创建ETL对象移植表格
      • 创建数据库对象移植表格(if applicable)
      • 完成ETL Mapping规格说明书
      • 完成对日志和坏文件的清理过程– Refer to Standard_ETL_File_Cleanup.doc
      • 遵循 Informatica 命名规范
    • Templates
      • ETL对象移植表格
      • ETL Mapping 规格说明模板
      • 数据库对象移植表格 (if applicable)
  • 5.0 测试过程 – 这个过程中，开发人员要做单元，压力和性能测试。
    • 交付物
      • ETL测试计划
      • ETL 性能测试计划
    • 标准
      • 完成ETL测试计划
      • 完成ETL性能测试计划
    • 模板
      • ETL测试计划模板
      • ETL 性能测试计划模板
  • 6.0 对ETL流程进行全面的走查–要注意以下几点：鉴别公用模块，ETL代码的性能检查，业务逻辑的准确性和标准化验证。
    • 交付物
      • 对ETL流程进行全面的检查
    • 标准
      • 引导ETL流程的走查Conduct ETL Process Walkthrough
    • 模板
      • ETL Mapping 走查检验项模板
  • 7.0 移交QA – ETL管理员把ETL流程提交给QA。
    • 交付物
      • ETL流程提交QA
    • 标准
      • 完成ETL对象移植表格
      • 完成Unix 工作流安装请求表格
      • 数据库对象移植表格(if applicable)
    • 模板
      • ETL对象移植表格模板
      • Unix 工作流安装请求表格模板
      • 数据库对象移植表格模板(if applicable)
  • 8.0 测试过程 – 这个过程中开发人员再一次对提交给QA的ETL流程进行测试。
    • 交付物
      • 测试ETL流程
    • 标准Standards
      • 开发人员验证ETL测试计划和性能测试计划的有效性。
    • 模板Templates
      • ETL测试计划模板
      • ETL 性能测试计划模板
  • 9.0 用户验证数据的有效性–用户测试数据的有效性以确定数据是否满足了业务需求。
    • 交付物
      • 验证ETL流程的有效性
    • 标准
      • 通过数据验证业务流程的有效性
    • 模板
      • ETL业务需求规格说明模板
  • 10.0提交生产系统-ETL管理员将ETL的流程移植到生产系统。
    • 交付物
      • 正确有效的ETL处理过程移植到生产系统
    • 标准
      • 完成ETL对象移植表格
      • 完成Unix 工作流安装请求表格
      • 数据库对象移植表格(if applicable)
    • 模板
      • ETL对象移植表格模板
      • Unix 工作流安装请求表格模板
      • 数据库对象移植表格模板(if applicable)
  • 11.0 ETL处理维护–有两种情况要对ETL处理的维护：ETL处理的流程中断和ETL处理的流程需要升级。
    • 交付物
      • 准确和有效的ETL处理流程
    • 标准
      • 更新ETL业务需求规格说明(if needed)
      • 更新ETL Mapping规格说明(if needed)
      • 在适当的文件夹对mapping修改
      • 更新ETL对象移植表格
      • 开发人员要对生产系统的最终的结果验证
      • 所有检测的问题，所有人员都要负责
    • 模板
      • ETL业务需求规格说明模板
      • ETL Mapping 规格说明模板
      • ETL对象移植表格模板
      • Unix 工作流安装请求表格模板
      • 数据库对象移植表格模板(if applicable)
  ~

[@more@]

ETL业务需求模板

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/7724693/viewspace-987592/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/7724693/viewspace-987592/