ETL-如何解决数据漂移？

介绍概念

迟到

开会经常遇到有人迟到。例如10:00的会议，有同学10:05才进会。实到时间“10:05”大于应到时间“10:00”，故称之为“迟到”。简称案例1。
同样，数据也常发生迟到情况。如“2022-01-01 23:58”创建的订单，在“2022-01-02 00:01”才记录到数据库的表中。实到时间“2022-01-02 00:01”大于应到时间“2022-01-01 23:58”，故称之为“迟到”。简称案例2。

漂移

下雨天骑电动车是危险的，尤其注意在十字路口不要捏前刹，因为容易发生“漂移”、导致“人摔倒在地、车倒在腿上”等惨况。

待办：补充电动车漂移图，突出说明位置的漂移。

数据漂移

“案例2”中，因为数据迟到，本该存入“日期=1号”分区，实际存入到“日期=2号”分区了。当我们想查询1号的下单用户时，按照常识，在“日期=1号”分区中查询，就会漏查了该订单。
因为“数据迟到”，发生“位置偏移”，带来错误的查询结果，我们称之为“数据漂移”。

**待办** 补充时间线 四类时间字段比较

设定目标

数据可以迟到，但不可引起错误的查询结果。

比较方法

方法0 直接去业务库查询数据

这个方法准确度高、风险大、成本高。
大量使用易引起数据库慢查询、业务响应中断。
少量使用，