关闭

kettle增量抽取框架

标签: ketteloracleETL框架增量抽取
3484人阅读 评论(0) 收藏 举报

利用kettle进行数据抽取,其实和手工的ETL流程差不多,最近结合项目整理了一个简单实用的抽取框架。

一、抽取的大致流程:、


二、kettel框架:


三、细节介绍:

1、SET_START_DATE:得到系统当前的时间,作为抽取的开始时间。

2、GET_MINETLFLAG:从ETL的日志表中的到当前的最小FLAG,一般为时间戳。

3、GET_TAREGT_TABLE_CHANGE:得到插入、更新等数据库操作的数量,后面记录到日志表

4、GET_MAXETLFLAG:从目标库中取到最大的时间戳,作为下次抽取的最小时间。

5、WRITE_ETLLOG:获取前面的赋值的变量,写入log表。

6、参数设置:这里的参数,主要是log表的一些字段。


四、日志表的设计

log表的设计:

TABLENAME    :抽取目标表表名
ETLBEGINTIME : 抽取开始时间
ETLENDTIME   : 抽取结束时间
INSERTNUM    : 插入记录数
UPDATENUM    :更新记录数
DELNUM       : 删除记录数
MERGENUM     : 总数据量
ETLFLAG      : 时间戳
MSG          : 消息
SSXQ         : 所属地市


FLAG表设计:

ETL_ID          : 抽取表名
ETL_NAME        : 抽取信息
ETL_FLAG        : 抽取状态
ETL_SUCCEED_NUM : 成功次数
ETL_ERROR_NUM   : 失败次数
TABLENAME_MC    : 中文表名





0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:23800次
    • 积分:452
    • 等级:
    • 排名:千里之外
    • 原创:20篇
    • 转载:6篇
    • 译文:1篇
    • 评论:1条
    文章分类
    最新评论