所讲增量数据加载,举例说A表为OLTP表,B表为OLAP表
ETL进行增量数据加载,抽取A表数据,并进行清洗、转换、最后进行加载,运行过一次后,B表中就有了按规则抽取的数据,此后,当发生业务操作后,A表数据发生改变,即
1、增加
当A表增加数据后,经过ETL,仅抽取增加的数据,并进行相应转换,B表中插入新增的数据
2、修改
当A表数据发生修改后,经过ETL,仅抽取修改过的数据,需要在B表中找到发生变化的数据,并进行相应的修改(不记录修改历史);或者在B表中找到发生变化的数据,并给这些数据置上历史数据标识,并插入修改过的数据
3、删除
当A表发生删除时,经过ETL,B表应不发生任何变化,A表所删除数据应仍然保持原有数据
这样便实现了数据的增量抽取,递增加载
ETL进行增量数据加载,抽取A表数据,并进行清洗、转换、最后进行加载,运行过一次后,B表中就有了按规则抽取的数据,此后,当发生业务操作后,A表数据发生改变,即
1、增加
当A表增加数据后,经过ETL,仅抽取增加的数据,并进行相应转换,B表中插入新增的数据
2、修改
当A表数据发生修改后,经过ETL,仅抽取修改过的数据,需要在B表中找到发生变化的数据,并进行相应的修改(不记录修改历史);或者在B表中找到发生变化的数据,并给这些数据置上历史数据标识,并插入修改过的数据
3、删除
当A表发生删除时,经过ETL,B表应不发生任何变化,A表所删除数据应仍然保持原有数据
这样便实现了数据的增量抽取,递增加载
在全表比对的方式下可以采用的渐变维的方式一般有两种
1、不记录历史更改,即OLTP发生数据变化时,通过ETL同样对
OLAP中数据进行修改
2、记录历史信息,即OLTP发生数据变化时,通过ETL后,OLAP 中将保留原来数据,并不修改数据值,仅把该数据标识为 历史数据,并把修改过的数据作为新数据插入OLAP表。这 种模式有三种方式进行历史纪录的记载
(1)版本号
即在OLAP表中增加字段,记录版本号,每次更新数据时, 记录下当前版本号,以版本号最新表示记录最新
(2)标志字段
即在OLAP表中增加字段,记录最新标识,例如1、0,把历 史数据均置为1,当前最新数据为0
(3)时戳
即在OLAP表中增加时戳字段,记录数据的插入时间及更改 时间,以时间最后为最新纪录
1、不记录历史更改,即OLTP发生数据变化时,通过ETL同样对
OLAP中数据进行修改
2、记录历史信息,即OLTP发生数据变化时,通过ETL后,OLAP 中将保留原来数据,并不修改数据值,仅把该数据标识为 历史数据,并把修改过的数据作为新数据插入OLAP表。这 种模式有三种方式进行历史纪录的记载
(1)版本号
即在OLAP表中增加字段,记录版本号,每次更新数据时, 记录下当前版本号,以版本号最新表示记录最新
(2)标志字段
即在OLAP表中增加字段,记录最新标识,例如1、0,把历 史数据均置为1,当前最新数据为0
(3)时戳
即在OLAP表中增加时戳字段,记录数据的插入时间及更改 时间,以时间最后为最新纪录
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/28573466/viewspace-772496/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/28573466/viewspace-772496/