数据的质量直接影响着数据的价值,并且直接影响着数据分析的结果以及我们以此做出的决策的质量。质量不高的数据不仅仅是数据本身的问题,还会影响着企业经营管理决策;错误的数据还不如没有数据,因为没有数据时,我们还会基于经验和基于常识的判断来做出不见得是错误的决策,而错误的数据会引导我们做出错误的决策。因此数据质量是企业经营管理数据治理的关键所在。
数据的质量可以从八个方面进行衡量,每个维度都从一个侧面来反映数据的品相。八个维度分别是:准确性、真实性、完整性、全面性、及时性、即时性、精确性和关联性。
完整性 | 衡量数据记录的完整程度,确保所有必要的信息都被记录下来,不存在空字段或其他缺失的数据。可以通过实际数据量和预期数据量的比例来衡量。1 |
唯一性 | 检查数据的主键或识别属性是否独一无二,以防止记录之间的重复,这是保证记录准确性的重要手段。 |
及时性 | 数据应能及时反映出真实世界的最新状态,特别是对于动态变化的数据,如客户信息,需要及时更新以保持时效性。 |
有效性 | 检查数据格式和值的范围是否符合既定定义、精确度要求以及业务规则的约束。例如,电话号码应该只包含数字,日期格式应该是标准的。 |
准确性 | 关注数据与其所描述的事物的一致性,确保数据能够正确反映事物的关键属性和语义。准确性可以通过比较数据与事物真实状态来进行评估。 |
一致性 | 测量同一事物在不同来源中记录或版本的值的一致性。确保数据在不同的系统和业务线中没有矛盾,通过比对不同数据源中的数据相符程度来衡量。 |
规范性 | 度量数据是否按照统一的格式进行存储,这对于确保数据的标准化和可移植性至关重要 |
关联性 | 评估数据之间的关联关系是否存在,以及这些关系的索引是否被建立。 |