数据质量如何监控

数据质量怎么监控？

    如一张表的记录数在一个已知的范围内，或者上下浮动不会超过某个阈值：

    SQL结果：var 数据量 = select count（*）from 表 where 时间等过滤条件

    报警触发条件设置：如果数据量不在[数值下限, 数值上限]， 则触发报警

•     同比增加：如果((本周的数据量 -上周的数据量)/上周的数据量*100)不在 [比例下线，比例上限]，则触发报警
•     环比增加：如果((今天的数据量 - 昨天的数据量)/昨天的数据量*100)不在 [比例下线，比例上限]，则触发报警

    报警触发条件设置一定要有。如果没有配置的阈值，不能做监控
    日活、周活、月活、留存（日周月）、转化率（日、周、月）GMV（日、周、月）
    复购率（日周月）

单表空值检测

某个字段为空的记录数在一个范围内，或者占总量的百分比在某个阈值范围内

    目标字段：选择要监控的字段，不能选“无”

    SQL结果：var 异常数据量 = select count(*) from 表 where 目标字段 is null

    单次检测：如果(异常数据量)不在[数值下限, 数值上限]，则触发报警

单表重复值检测

一个或多个字段是否满足某些规则

    目标字段：第一步先正常统计条数；select count(*) form 表；

    第二步，去重统计；select count(*) from 表 group by 某个字段

    第一步的值和第二步的值做减法，看是否在上下线阀值之内

    单次检测：如果(异常数据量)不在[数值下限, 数值上限]， 则触发报警

跨表数据量对比

   主要针对同步流程，监控两张表的数据量是否一致

    SQL结果：count(本表) - count(关联表)

    阈值配置与“空值检测”相同