数据不一致问题排查1

新接手的一个项目,主要做统计分析,数据来源于另外一个系统,我们系统的数据与对方系统的数据不一致,所以统计结果不准确,客户对此有很大意见。我接手这项目之前的项目团队检查了好几个月,仍未解决该问题,随即领导就把这个任务交给我去解决。
我首先画了个思维导图,简单梳理一般数据不一致常见的原因。
在这里插入图片描述

一、采集数据问题
1、采集的类型少导致漏采了一部分数据。
2、采集范围问题,对方有些字段不是必填项,但我们筛选特定字段导致漏采数据。
3、采集频率问题,采集时间间隔长,期间有数据变动,年报数据基本上不是这个原因导致数据不一致。
4、更新机制问题,新增的合同采集过来了。但修改的合同,未采集或按照新增的合同采集过来,在对方系统中删除的合同,我们中并没有同步删除
二、存储数据问题
1、自己编辑产生了一些重复的垃圾数据,导致数据不准。通过数据量大小比对。
2、数据展示的SQL撰写有问题,可能是撰写思路不对,撰写错误。
后面我经过验证后,果然不是这些简单的原因导致的,数据字段差异和数据量差异没办法通过这些思路排查出来。随即又画了个思维导图,往深一层思考。
在这里插入图片描述

一、对方同步给我们的数据有问题
1、对方系统同步给我们的数据是几张表拼接的,拼接的唯一标识并不是唯一的(

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值