一、增量抽取:
ETL 的开发流程:
业务系统OLTP--->操作型数据存储ODS----->清洗到数据仓库EDW----->数据集市(建模/挖掘/分析)DM----->可视化。
增量抽取,表示当业务系统的数据随着时间的推移是变动的(如:客户数量的变化,会员的变化,订单的变化、网站访客的变化等都是增量数据),我们需要开发增量抽取到EDW层,保持数据的同步,不用每次都去业务系统读取全部数据,只添加或更新有变化的数据。
二、案例:
1、目标:开发增量抽取 (业务系统OLTP---> EDW )
源表 -----> 目标表
OLTP(oracle) -----> EDW [oracle(edw01)]
ods_cust_info -----> edw_cust_info 客户基本信息表
2、操作流程步骤:
(1)业务系统OLTP--->操作型数据存储ODS:导入源数据到oracle的OLTP用户下。
在oracle 数据库中创建用户OLTP,并授予相应的权限
sqlplus