数仓建模—数据质量

数仓建模—数据质量

今天我们看一下数据质量，其实我们在学习数仓的时候提到过如何评价一个数仓的好坏，我们一般是从稳定性、数据质量、及时性 这三个角度去衡量，当然关于这个怎么去量化我们前面提到过，数仓最终是为了支撑决策，决策的前提要保证数据的准确性也就是我们的数据质量，也就是说其实这三个指标中，最重要的就是数据质量。

例如如何衡量稳定性，我们可以使用出错任务数/任务的个数，当然这个不太合理就是我们的任务是有权重和优先级的，所以可以将权重考虑进去，从而可以得到数仓的稳定性指标。

数据质量评估

数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估

完整性

完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段信息的缺失，两者都会造成统计结果不准确。

完整性是数据质量最基础的保障。例如，某个稳定业务的数据量每天约为100万条记录，某天突然下降了1万条，则可能是出现了记录缺失。例如，某科高考成绩表中，每个考卷分数都对应一个准考证号，当准考证号字段的空值数大于0时，则可能是出现了信息缺失。

准确性

准确性是指数据中记录的信息和数据是否准确、是否存在异常或者错误的信息。例如，成绩单中分数出现负数、订单中出现错误的买家信息、UV或者PV数值小于0等，这些数据