文章探讨了ETL（Extract,Transform,Load）的四种主要实现模式：触发器模式、增量字段、全量同步和日志比对，分析了各自的优点和缺点。触发器模式和增量字段性能较好，但可能对业务系统有侵入性。全量同步在管理和维护上统一，但速度较慢。日志比对效率高，但实现复杂且可能依赖于特定数据库版本或商业软件。
首先，ETL有四种主要实现模式：触发器模式、增量字段、全量同步、日志比对。
其次，四种模式的优缺点
触发器模式
优点：数据抽取的性能高，ETL 加载规则简单，速度快，不需要修改业务系统表结构，可以实现数据的递增加载。
缺点：要求业务表建立触发器，对业务系统有一定的影响，容易对源数据库构成威胁。
增量字段
优点：同触发器方式一样，时间戳方式的性能也比较好，ETL 系统设计清晰，源数据抽取相对清楚简单，可以实现数据的递增加载。
缺点：时间戳维护需要由业务系统完成，对业务系统也有很大的侵入性（加入额外的时间戳字段），特别是对不支持时间戳的自动更新的数据库，还要求业务系统进行额外的更新时间戳操作；
另外，无法捕获对时间戳以前数据的delete和update 操作，在数据准确性上受到了一定的限制。
全量同步
优点：对已有系统表结构不产生影响，不需要修改业务操作程序，所有抽取规则由ETL完成，管理维护统一，可以实现数据的递增加载，没有风险。
缺点：ETL 比对较复杂，设计较为复杂，速度较慢。与触发器和时间戳方式中的主动通知不同，全表比对方式是被动的进行全表数据的比对，性能较差。当表中没有主键或唯一列且含有重复记录时，全表比对方式的准确性较差。
日志对比
优点：ETL同步效率较高，不需要修改业务系统表结构，可以实现数据的递增加载。
缺点：业务系统数据库版本与产品不统一，难以统一实现，实现过程相对复杂，并且需深入研究方能实现。或者通过第三方工具实现，一般都是商业软件，而且费用较高。
模式对比
扫一扫
1194
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
