数据规范

一. 数据规范的含义

数据治理的处理对象是海量分布在各个系统中的数据,这些不同系统的数据往往存在一定的差异:数据代码标准、数据格式、数据标识都不一样,甚至可能存在错误的数据.这就需要建立一套标准化的体系,对这些存在差异的数据统一标准,符合行业的规范,使得在同样的指标下进行分析,保证数据分析结果的可靠性.
例如,对于数据库的属性值而言,可以建立唯一性规则、连续性规则以及空值规则等来对数据进行检验和约束:唯一性规则一般是指为主键或其他属性填写 unique 约束,使得给定属性的每个值与该属性的其他值不同;连续性规则是指属性的最大值和最小值之间没有缺失值并且每个值也是唯一的,一般用于检验数;空值规则是指使用其他特殊符号来代替空值,以及对于这样的值应该如何处理.数据的规范化能够提高数据的通用性、共享性、可移植性及数据分析的可靠性.所以,在建立数据规范时要具有通用性,遵循行业的或者国家的标准.

二. 数据规范方法

数据治理过程中可使用的数据规范方法有:规则处理引擎、标准代码库映射.

2.1 规则处理引擎

数据治理为每个数据项制定相关联的数据元标准,并为每个标准数据元定义一定的处理规则,这些处理逻辑包括数据转换、数据校验、数据拼接赋值等.基于机器学习等技术,对数据字段进行认知和识别,通过数据自动对标技术,解决在数据处理过程中遇到的数据不规范的问题.

• 根据数据项标准定义规则模板,“出生日期”的规则如下所示。

  值域稽核规则:YYYY:MM:DD 或 YYYY-MM-DD;
  取值范围规则:1900<YYYY<=2018,1<=MM<=12,1<=DD<=31.

• 将数据项与标准库数据项对应
  借助机器学习推荐来简化人工操作,根据语义相似度和采样值域测试,推荐相似度最高的数据项关联数据表字段,并根据数据特点选择适合的转换规则进行自动标准化测试.根据数据项的规则模板自