数据全量抽取&增量抽取

一：数据抽取
 数据抽取，是指从源数据系统抽取目的数据源系统需要的数据，这里的源数据源就是数据输入的各种类型的数据库（一般是关系型数据库），目的数据源就是数据输出的数据库
 数据抽取分为全量抽取和增量抽取。
二：全量抽取
 全量抽取，类似于数据迁移或数据复制，他将数据源中的表或视图原封不动的从数据库中抽取出来，并转换成自己的ETL工具可以识别的格式。
 全量抽取比较简单。-------具体抽取方式还待研究。
三：增量抽取
 增量抽取，只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据，在ETL使用过程中，增量抽取较全量抽取应用更广，如何捕获变化的数据是增量抽取的关键。
 对捕获方法一般有两点要求：准确性，能够将业务系统中变化的数据按照一定的频率准确的捕获到；
             性能，不能对业务系统造成太大的压力，影响现有业务系统。
四：增量抽取常用的捕获变化数据的方法
 1：触发器（又称快照式）---会降低源数据库的性能，所以一般不会采取
 介绍：在抽取的表上建立需要的触发器，一般要建立插入，修改，删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程
 从临时表中抽取数据，临时表中抽取过的数据被标记或是删除。
 ----------------------------------------------------------------------------------------------------------------------------
 增量抽取时的触发器建立，针对三种触发器，如何写入临时表，如何从临时表中抽取，如何标记或者删除临时表数据。
 ----------------------------------------------------------------------------------------------------------------------------
    优点：数据抽取的性能高，ETL加载规则简单，速度快，不需要修改业务系统表结构，可以实现数据的递增加载。
    缺点：要求业务系统建立触发器，对业务系统有一定的影响，容易对源数据库构成威胁。（会降低数据库的性能，所以一般不采用）
 2：时间戳方式（比较常用）
 介绍：它是一种基于快照比较的变化数据捕获方式，在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。当进行数据抽取时，通过比较上次
 抽取时间与时间戳字段的值来决定抽取那些数据。有的数据库的时间戳支持自动更新，即表的其他字段的数据发生变化时，自动更新时间戳字段。有的数据库不支持时间戳的自动
 更新，这就要求业务系统在更新业务数据时，手工更新时间戳字段。
 ---------------------------------------------------------------------------------------------------------------------------
 通过什么方式来更新时间戳，如何比较抽取时间与源表时间戳字段，如何决定抽取那些数据，如何实现抽取。
 ---------------------------------------------------------------------------------------------------------------------------
 优点：同触发器方式一样，时间戳方式的性能也比较好，ETL系统设计清晰，源数据抽取相对清楚简单，可以实现数据的递增加载。
 缺点：时间戳维护需要由业务系统完成，对业务系统有很大的倾入性（加入额外的时间戳字段），特别是对不支持时间戳的自动更新的数据库，还要求业务系统进行额外的更新时间戳
 操作；另外，无法捕获对时间戳以前数据的delete和update操作，在数据准确上受到一定的限制。
 3：全表删除插入方式
 介绍：每次ETL操作均删除目标表数据，由ETL全新加载数据。
 优点：ETL加载规则简单，速度快。
 缺点：对于维表加外键不合适，当业务系统产生删除数据时，综合系统将不会记录到所删除的历史数据，不可以实现数据的递增加载；同时对于目标表所建立的关联关系，需要重新
 进行加载。
 4：全表比对方式---性能较差
 介绍：全表比对的方式是ETL工具事先为要抽取的表建立一个结构类似的临时表，该临时表记录源表主键以及根据所有字段的数据计算出来，每次进行数据抽取时，对源表和临时表
 进行比对，如有不同，进行update操作，若目标表没有该主键值，表示该记录还没有，则进行insert操作。
 优点：对已有系统的表结构不产生影响，不需要修改业务操作程序，所有抽取工作由ETL完成，管理维护统一，可以实现数据的递增加载，没有风险。
 缺点：ETL比较复杂，设计比较复杂，速度较慢，与触发器和时间戳的主动通知的方式不同，全表比对方式是被动的进行全表数据比较，性能较差，当表中没有主键或为一列且含有
 重复记录时，全表对比方式的准确性较差。
 5：日志表方式---较为麻烦
 介绍：在业务系统中添加系统日志表，当业务数据发生变化时，更新维护日志表内容，当作ETL加载时，通过读日志表数据决定加载那些数据及如何加载。
 优点：不需要修改业务系统表结构，源数据抽取清楚，速度较快，可以实现数据的递增加载。
 缺点：日志表维护需要由业务系统来完成，需要对业务系统业务操作程序做修改，记录日志信息，日志表维护较为麻烦，对原有系统有较大影响，工作量大，改动较大，有一定的风险 。

 

转载于:https://www.cnblogs.com/zja001/p/10095236.html