数据仓库作为全行数据中心能高效支持全行或全公司的统计 、数据分析工作,除了稳定的ETL架构、高效的数据处理能力,流畅的开发管理流程,还需要有全面的数据管理体系,确保提供的数据准确性和高质量。数据管理主要有数据标准,元数据和数据质量3方面。那数据治理是指对没有规范或者不符合规范的数据进行清理并建立标准和规范,那也是从这3方面着手。那这三方面的数据管理也是全行级的管理,并不仅仅限于数据仓库,只是在数据仓库管理中会更多的使用到。
1、数据标准
数据标准指在全行或全公司范围内统一数据分类分级、定义、记录格式及转换、编码等技术标准。举个简单的例子,在核心系统中的客户性别和贷款系统中的客户性别是否一样?当两个系统的数据都到数据仓库的客户表中,需要怎么整合在一起。
最理想的方式是在公司刚建立的时候就定义了数据标准,每个系统建设时的数据字段都按同一个标准来,这样各个系统之间的数据表字段定义一致,无需转换就可以互相关联、比较。但现实中往往各个系统建设时同一个定义的字段在命名、格式、代码值等都会不同,导致在数据应用时需要互相转换才能统一计算。那数据标准就是制定一套全行的规范,各系统统一按这个规范转换后再一起进行数据加工和分析,那数据标准制定的原则有:
(1)以业务为导向:基于银行已有实际业务和系统情况制定数据标准;
(2)遵循外部标准:充分遵循各类成熟的外部标准,并按照国家标准、金融行业标准和国际标准的顺序进行采纳;
(3)前瞻性及科学性:既满足现阶段业务需求,更要结合国内外经验发展所带来的数据标准需求;
数据标准可以分为基础数据标准和业务标准,基础数据标准就是行