数据治理之如何保证数据质量问题

问题解决思路

        提前发现问题，将问题扼杀在摇篮中。常规做法是数据处理的每一个环节，根据业务要求提前设置好告警规则。

        比如设置日增数据量的阈值以及对于计算结果某些关键指标的阈值两种方式。当数据从数据源取回来的第一步就可根据这个制定的规则先看数据量是否在阈值范围内，例如正常情况下是一万条数据，而阈值设置为上下浮动百分之十，如果数据量只有一千条超过该阈值就应该马上触发告警让运维或开发人员第一时间干预；对于一些非常重要的数据，比如跟金额相关的还需要马上终止后面的数据处理流程，避免数据进入下游进一步扩大影响范围。

        对于一些比较复杂的计算场景，可能需要计算的中间结果，该中间结果可以根据对该业务的理解设置出中间结果告警阈值，如果超出就要告警；最后对于最终计算的结果核查方式一般也是根据以往的经验将最终计算结果中某些关键指标跟以往同期处理的正常结果做一个同比或者环比，看指标的变换情况是否在可接受的阈值范围内，如果超出则是异常应该触发告警。