kettle增量抽取框架

利用kettle进行数据抽取,其实和手工的ETL流程差不多,最近结合项目整理了一个简单实用的抽取框架。

一、抽取的大致流程:、


二、kettel框架:


三、细节介绍:

1、SET_START_DATE:得到系统当前的时间,作为抽取的开始时间。

2、GET_MINETLFLAG:从ETL的日志表中的到当前的最小FLAG,一般为时间戳。

3、GET_TAREGT_TABLE_CHANGE:得到插入、更新等数据库操作的数量,后面记录到日志表

4、GET_MAXETLFLAG:从目标库中取到最大的时间戳,作为下次抽取的最小时间。

5、WRITE_ETLLOG:获取前面的赋值的变量,写入log表。

6、参数设置:这里的参数,主要是log表的一些字段。


四、日志表的设计

log表的设计:

TABLENAME    :抽取目标表表名
ETLBEGINTIME : 抽取开始时间
ETLENDTIME   : 抽取结束时间
INSERTNUM    : 插入记录数
UPDATENUM    :更新记录数
DELNUM       : 删除记录数
MERGENUM     : 总数据量
ETLFLAG      : 时间戳
MSG          : 消息
SSXQ         : 所属地市


FLAG表设计:

ETL_ID          : 抽取表名
ETL_NAME        : 抽取信息
ETL_FLAG        : 抽取状态
ETL_SUCCEED_NUM : 成功次数
ETL_ERROR_NUM   : 失败次数
TABLENAME_MC    : 中文表名





评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值