kettle增量抽取框架

原创 2016年05月30日 17:45:04

利用kettle进行数据抽取,其实和手工的ETL流程差不多,最近结合项目整理了一个简单实用的抽取框架。

一、抽取的大致流程:、


二、kettel框架:


三、细节介绍:

1、SET_START_DATE:得到系统当前的时间,作为抽取的开始时间。

2、GET_MINETLFLAG:从ETL的日志表中的到当前的最小FLAG,一般为时间戳。

3、GET_TAREGT_TABLE_CHANGE:得到插入、更新等数据库操作的数量,后面记录到日志表

4、GET_MAXETLFLAG:从目标库中取到最大的时间戳,作为下次抽取的最小时间。

5、WRITE_ETLLOG:获取前面的赋值的变量,写入log表。

6、参数设置:这里的参数,主要是log表的一些字段。


四、日志表的设计

log表的设计:

TABLENAME    :抽取目标表表名
ETLBEGINTIME : 抽取开始时间
ETLENDTIME   : 抽取结束时间
INSERTNUM    : 插入记录数
UPDATENUM    :更新记录数
DELNUM       : 删除记录数
MERGENUM     : 总数据量
ETLFLAG      : 时间戳
MSG          : 消息
SSXQ         : 所属地市


FLAG表设计:

ETL_ID          : 抽取表名
ETL_NAME        : 抽取信息
ETL_FLAG        : 抽取状态
ETL_SUCCEED_NUM : 成功次数
ETL_ERROR_NUM   : 失败次数
TABLENAME_MC    : 中文表名





版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

SQL语句中between and 范围

经过验证 SQL语句中的between 范围1 and  范围2  ,语句是包括的范围1和范围2的  Oracle代码   SQL> create tabl...

git入门命令学习(自己的一点小小的总结)

git提交代码git提交代码流程的总结git checkout master(切换到master分支)git fecth (在master分支上取得远程最新的分支信息)git checkout -...

Kettle数据抽取---增量抽取

使用KETTLE实现数据的增量抽取的方法大致如下: 从目标表中读取最大的时间戳或者增量字段ID,作为条件,然后把源表中所有大于这个增量字段的数据读出来,插入到目标表当中去; 1.打开Kettle工具,...
  • zftang
  • zftang
  • 2011-02-05 23:16
  • 9487

基于MySQL实现按距离排序、范围查找

简介 现在几乎所有的O2O应用中都会存在“按范围搜素、离我最近、显示距离”等等类似的功能,那这样的功能是怎么实现的呢?本文提供了基于MySQL的实现方式,同样适用于其它数据库。本文不分析,只讲怎么实...
  • linlzk
  • linlzk
  • 2016-05-13 20:44
  • 2815

Mac 下修改 PHP 本地服务器路径

http://www.saitjr.com/php/php-mac-yosemite-locahost-path.html 在Mac上搭建了PHP服务器以后,默认的路径为/Library...

Lucene和Solr 学习目录

几个概念先行说明一下: Lucene: 是一个索引与搜索类库,而不是完整的程序。 Solr:是一个高性能,采用Java5开发,基于Lucene的一个独立的企业级搜索应用服务器,它对外提供类似于We...
  • linlzk
  • linlzk
  • 2016-05-18 19:20
  • 1004

日志(操作)数据库设计

日志管理模块升级方案1.      背景由于现阶段的日志管理,记录的数据比较简单,不够具体,不能适应系统日益庞大的需求。需要对此功能进行升级。       希望增加的功能有:l &...

Regex—匹配特定数字前面的一个单词

一 需求       匹配到1前面并且是'='号分隔的单词 $patten = "/\b(\w+)\b\s*[^d][^and]?\s*\\?3/"; $conditionS...

MySQL BETWEEN 用法

MySQL BETWEEN 语法 BETWEEN 运算符用于 WHERE 表达式中,选取介于两个值之间的数据范围。BETWEEN 同 AND 一起搭配使用,语法如下: WHERE column B...

如何拿到半数面试公司Offer——我的Python求职之路

作者:I天辉I 来源:http://blog.csdn.net/ialexanderi/article/details/65035857 找工作,从来都不是一件容易的事——...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)