kettle增量抽取框架

利用kettle进行数据抽取，其实和手工的ETL流程差不多，最近结合项目整理了一个简单实用的抽取框架。

一、抽取的大致流程：、

二、kettel框架：

三、细节介绍：

1、SET_START_DATE：得到系统当前的时间，作为抽取的开始时间。

2、GET_MINETLFLAG：从ETL的日志表中的到当前的最小FLAG，一般为时间戳。

3、GET_TAREGT_TABLE_CHANGE：得到插入、更新等数据库操作的数量，后面记录到日志表

4、GET_MAXETLFLAG：从目标库中取到最大的时间戳，作为下次抽取的最小时间。

5、WRITE_ETLLOG：获取前面的赋值的变量，写入log表。

6、参数设置：这里的参数，主要是log表的一些字段。

四、日志表的设计

log表的设计：

TABLENAME    :抽取目标表表名
ETLBEGINTIME : 抽取开始时间
ETLENDTIME   : 抽取结束时间
INSERTNUM    : 插入记录数
UPDATENUM    :更新记录数
DELNUM       : 删除记录数
MERGENUM     : 总数据量
ETLFLAG      : 时间戳
MSG          : 消息
SSXQ         : 所属地市

FLAG表设计：

ETL_ID          : 抽取表名
ETL_NAME        : 抽取信息
ETL_FLAG        : 抽取状态
ETL_SUCCEED_NUM : 成功次数
ETL_ERROR_NUM   : 失败次数
TABLENAME_MC    : 中文表名