数据仓库的数据问题

本文探讨了数据缺失、数据异常(偏高/偏低)、数据趋势异常、数据矛盾及违背常识的数据问题。建议通过数据全链路监控、业务变更排查、指标对比、业务沟通等方式解决。同时强调建立指标文档、监控告警系统和新版本上线的数据敏感性,以确保数据准确性和一致性。

1、数据缺失

        可能是数据源或者数据加工导致的

如果是运行时间较长的程序,可以先通过数据的全链路流量等监控数据,排查数据是否抖动,

业务是否有变更等

业务数据库比如从库没有更新等

数据血缘看一下,上游时候有更新,导致问题

如果是刚上线的问题,可以排查一下程序,比如join 等,考虑不到的场景

2、数据偏高或则偏低

        不一定是数据有问题,有可能是什么突发运行情况,考虑到业务场景

首先排查数据源的问题,可以通过同比 环比等比较数据源数据,可以做成监控告警

数据集成是否有异常的日志

对比相似的指标,比如有没有相关的漏斗模型,或者其他相似的维度

是不是升级导致的

指标告警

和业务紧密沟通

3、数据趋势的异常

和数据偏高偏低类似

4、数据指标相互矛盾

往往是统计口径的问题,要注意指标口径的统一,这样沟通也方便,

不同的人,对指标和口径的理解也可能有异常,

最好有指标文档,但是指标文档大家理解起来也会有歧义,这个要注意多沟通和宣贯

5、数据违背常识

大于100%等问题,这是低级的问题,往往是逻辑问题,

其次可能是数据源

数据问题,要有全链路数据思考问题,

要有监控告警的处理方式,及时收集相应问题

新版本上线,要对数据敏感

开发的逻辑要清楚,分层明确,指标解耦

注意总结和积累

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值