银行数据仓库体系实践（11）--数据仓库开发管理系统及开发流程

      数据仓库管理着整个银行或公司的数据，数据结构复杂，数据量庞大，任何一个数据字段的变化或错误都会引起数据错误，影响数据应用，同时业务的发展也带来系统不断升级，数据需求的不断增加，数据仓库需要不断的升级和维护，才能保证为全行提供持续完整准确的数据服务。所以数据仓库基本上是全行或全公司版本最多的系统，如何保证在频繁的变化中保证数据的准确和系统的稳定，需要数据仓库的开发管理必须做到高效、有条不紊。

 

１、数据仓库开发流程

        １.１、规范先行

       数据仓库从开发上看，数据加载和导入的程序相对固定，开发工作主要是数据转换的SQL脚本的分析和开发。那SQL的分析和开发最主要的还是基于业务逻辑进行编写，所以对数据字段的理解以及对业务规则的熟悉是数据仓库模型人员和开发人员都需要具备的知识，同时数据和规则又会不断变化，那如何确保快速开发，开发的代码具有可读性、模型设计具有一致性，最重要的是在数据仓库建立时就制定相应的规范，使整个团队能按规范同步进行开发、设计。那在数据仓库中主要有以下规范：

        （1）命名规范：包括ETL作业、数据库或大数据平台的对象（表、字段、存储过程、schema名或库名）、脚本名、文件名等都需要按一定的规则进行命名，以便快速定位。

        （2）ETL开发规范：包括抽取、加载作业的开发规范、调度工具的使用规范、SQL脚本或作业的开发规范、开发流程规范等：

        （3）数据模型设计和维护规范：主要对主模型区、汇总指标层、集市层的模型设计