数仓分层出现数据问题怎么去排查

1.数据缺失:‌

        首先检查数据源或数据加工过程中是否存在缺失。‌对于运行时间较长的程序,‌可以通过监控数据(‌如全链路流量)‌来排查数据是否抖动或业务是否有变更。‌例如,‌如果业务数据库的从库没有更新,‌这可能导致数据缺失。‌此外,‌检查数据血缘,‌确认上游数据是否有更新,‌以及新上线程序(‌如join操作)‌是否考虑到了所有场景。‌

2.数据偏高或偏低:

        这种情况不一定是数据本身的问题,‌可能由突发运行情况引起。‌首先排查数据源问题,‌通过同比、‌环比等方法比较数据源数据,‌检查数据集成是否有异常日志。‌对比相似的指标,‌考虑是否是升级导致的问题。‌与业务紧密沟通,‌了解可能的业务变化。‌

3.数据趋势异常:

        与数据偏高或偏低类似,‌需要关注数据的长期变化趋势,‌检查是否有异常波动。‌

4.数据指标相互矛盾:‌

        这通常是由于统计口径不一致造成的。‌要注意指标口径的统一,‌最好有指标文档以便沟通。‌不同的人对指标和口径的理解可能存在差异,‌因此需要多沟通和宣贯,‌确保理解一致。‌

5.数据违背常识:‌

        如出现大于100%等违背常识的数据,‌这通常是逻辑问题或数据源问题。‌需要进行全链路数据思考,‌设置监控告警以处理类似问题。‌新版本上线时,‌对数据要特别敏感,‌确保开发的逻辑清晰、‌分层明确、‌指标解耦。‌

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值