【华为数据之道学习笔记】8-2 数据质量规则

        异常数据是不满足数据标准、不符合业务实质的客观存在的数据，如某位员工的国籍信息错误、某位客户的客户名称信息错误等。

        数据在底层数据库多数是以二维表格的形式存储，每个数据格存储一个数据值。若想从众多数据中识别出异常数据，就需要通过数据质量规则给数据打上标签。

        数据质量规则是判断数据是否符合数据质量要求的逻辑约束。在整个数据质量监控的过程中，数据质量规则的好坏直接影响监控的效果，因此如何设计数据质量规则很重要。

        依据数据在数据库落地时的质量特性及数据质量规则类型，设计如下四类数据质量分类框架。

        1）单列数据质量规则。 关注数据属性值的有无以及是否符合自身规范的逻辑判断。

        2）跨列数据质量规则。关注数据属性间关联关系的逻辑判断。

        3）跨行数据质量规则。关注数据记录之间关联关系的逻辑判断。

        4）跨表数据质量规则。关注数据集关联关系的逻辑判断。

        华为结合ISO8000数据质量标准、数据质量控制与评估原则（国标SY/T 7005—2014），共设计了15类规则，具体如图所示。

     图-数据质量规则

    规则类型的详细说明如表所示。

表-规则分类内容及示例

    

        当我们发现某个数据格的数据异常时，往往会思考这一列其他的数据格是否也存在同样的问题，是否应该对这一列的其他数据格进行检查。因此数据质量规则一般以业务属性（即数据列）为对象，数据质量规则类型为颗粒度整体数据质量状况，又可清晰定位异常数据、识别严重问题、制定解决方案，同时数据质量规则也不会因互相交织而过于庞大，方便后续的运营维护。