数据质量怎么监控

. 数据质量怎么监控
单表数据量监控 一张表的记录数在一个已知的范围内，或者上下浮动不会超过某个阈值

1. SQL 结果：var 数据量 = select count（*）from 表 where 时间等过滤
   条件
2. 报警触发条件设置：如果数据量不在[数值下限, 数值上限]， 则触发报
   警
3. 同比增加：如果((本周的数据量 -上周的数据量)/上周的数据量*100)不
   在 [比例下线，比例上限]，则触发报警
   本文档来自公众号：五分钟学大数据
4. 环比增加：如果((今天的数据量 - 昨天的数据量)/昨天的数据量*100)
   不在 [比例下线，比例上限]，则触发报警
5. 报警触发条件设置一定要有。如果没有配置的阈值，不能做监控 日活、
   周活、月活、留存（日周月）、转化率（日、周、月）GMV（日、周、月）
   复购率（日周月）
   单表空值检测
   某个字段为空的记录数在一个范围内，或者占总量的百分比在某个阈值范围内
6. 目标字段：选择要监控的字段，不能选“无”
7. SQL 结果：var 异常数据量 = select count(*) from 表 where 目标字
   段 is null
8. 单次检测：如果(异常数据量)不在[数值下限, 数值上限]，则触发报警
   单表重复值检测 一个或多个字段是否满足某些规则
9. 目标字段：第一步先正常统计条数；select count(*) form 表；
10. 第二步，去重统计；select count(*) from 表 group by 某个字段
11. 第一步的值和第二步的值做减法，看是否在上下线阀值之内
12. 单次检测：如果(异常数据量)不在[数值下限, 数值上限]， 则触发报警
    跨表数据量对比
    主要针对同步流程，监控两张表的数据量是否一致
13. SQL 结果：count(本表) - count(关联表)
14. 阈值配置与“空值检测”相同
15. 数据分析方法论了解过哪些？
    数据商业分析的目标是利用大数据为所有职场人员做出迅捷，高质，高效的决策
    提供可规模化的解决方案。商业分析是创造价值的数据科学。
    数据商业分析中会存在很多判断：
16. 观察数据当前发生了什么？
    比如想知道线上渠道 A、B 各自带来了多少流量，新上线的产品有多少用户喜欢，
    新注册流中注册的人数有多少。这些都需要通过数据来展示结果。
17. 理解为什么发生？
    我们需要知道渠道 A 为什么比渠道 B 好，这些是要通过数据去发现的。也许某个
    关键字带来的流量转化率比其他都要低，这时可以通过信息、知识、数据沉淀出
    发生的原因是什么。
18. 预测未来会发生什么？
    在对渠道 A、B 有了判断之后，根据以往的知识预测未来会发生什么。在投放渠
    道 C、D 的时候，猜测渠道 C 比渠道 D 好，当上线新的注册流、新的优化，可以
    知道哪一个节点比较容易出问题，这些都是通过数据进行预测的过程。
19. 商业决策
    所有工作中最有意义的还是商业决策，通过数据来判断应该做什么。这是商业分
    析最终的目的