Maxcompute 数据上云一致性比对

我写过很多如何去对数、如何批量对数的技术文档，最近项目遇到这个问题，我才发现在官方博客上还没有发布过这个课题的文章。这就像灯下黑，太长用到的知识点，反而没有意识到其重要性。

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。

先说说一般业务上怎么对数的，我们做了一个报表，出了一个数据“某个产品卖了30个”。这个不只是在大数据平台上有这个数据，在业务系统也有这个数据，这些统计动作在业务系统通过程序和人工也会有一份，一般做好报表后会先对这个数据。

所以，第一线反馈回来的数据就是这个汇总数据不一致的问题。然而这个结果是非常概括的，因为就像我感觉这个月工资少发了5毛一样，如果我不看我的工资条我其实不知道自己是不是少发了。工资条不只是一个汇总数据，里面有我税前工资、奖金（浮动）、社保、扣税等一系列的明细数据，这些数据让我去判断我是不是少了5毛，而加工过的数据是复杂的。

说到这里，我其实就像表达一个事情，对数是要对明细数据。这是一切计算后事实的基础，可以拿出来作证的。

所以，两边都查一下这个汇总值使用的表的对应的记录，比如说查询“今天这个产品ID的售卖记录”。结果就发现业务系统有31笔，而大数据平台有30笔。

即便到了这里，其实我们仍然不知道期间发生了什么，为什么会丢失数据。另外我们还不知道其他商品ID的数据是不是也有丢失的，还有其他的表的数据是不是也会发生类似的情况。

1.明细数据比对

既然最终都是对明细数据，那么我是不是可以直接比对明细数据呢？回答是：正确。

一般发生这种情况，首先要比对业务系统和大数据平台两个表的数据。

1.再利用全量集成工具，从业务系统的数据库全量抽取一遍数据到大数据平台。比对数据一定要把数据放到一起，隔空比对是不存在的。因为大数据平台的容量是数百倍于业务系统的，所以ÿ