关于数据漂移的学习

  数据漂移产生的原因

　　通常我们把从源系统同步进入数据仓库的第一层数据成为ODS层数据，我们公司目前只有ODS一层，虽说只有一层，但是仍然有有一个顽疾：数据漂移，简单来说就是ODS表的同一个业务日期数据中包含前一天或者后一天凌晨附近的数据或者丢失当天的变更数据。更新表来说会丢失变更数据，流水表一般会丢失上一天数据，或者说上一天数据漂移到下一天。

　　由于ODS需要承接面向历史的细节数据查询需求，这就是需要物理落地到数据仓库的ODS表按时间段来进行分区存储，通常的做法是按某些时间戳字段来切分，二实际上往往由于时间戳字段的准确性问题导致发生数据漂移。当然我们目前切分的字段是datetime类型的updatetime字段。

　　通常时间戳字段分为四类：

　　（1）数据库表中用来表示数据记录更新时间的时间戳字段（假设这类字段叫modified_time）；

　　（2）数据库日志中用来表示数据记录更新时间的时间戳字段（假设这类字段叫log_time）；

　　（3）数据库表中用于记录具体业务过程发生时间的时间戳字段（假设这类字段叫proc_time）；

　　（4）标识数据记录被抽取到时间的时间戳字段（假设这类字段叫extract_time）当然这种还是比较少用的；

　　理论上这几个时间应该是一致的，但是在实际生产中，这几个时间往往会出现差异，可能的原因有以下几点：

　　（1）由于数据抽取是需要时间的，extract_time往往会万余前三