Java kettle 数据清洗,数据清洗小记(11)：Kettle_利用设置变量实现数据增量（小例）...

【背景】

利用kettle工具，完成某表的增量工作。

【解决】

利用模块完成便可，以下简图：

【实验】

先手工准备1个实验环境：

准备基本完成以下效果：

select t.*, t.rowid from EMP_ETL t

select max(hiredate) maxsj from EMP_ETL

我们验证将2015年10月22日的数据插入目标表中。

创建目标表：

create table EMP_ETL_1 as select * from EMP_ETL t where 1=2;

此时EMP_ETL_1数据为空，我们只插入hiredate 为2015/10/22的数据。

可以看到有两条数据符合这个条件，以下图所示：

编写时间戳ktr转换进程，把原表中最大的hiredate作为变量，以下图：

下面在“表输入”环节中，使用传递过来的${MAXSJ}作为条件，完成向目标表插入数据，扼要流程以下：

履行转换，完成数据插入，简图以下：

补充：这只是1个简单的举例，对使用时间戳的方式来完成增量时，这个实验中的方法如果每次都是全表max，当数据量特别大时，效力将大打折扣。而此时，我们就需要添加1个时间戳记录表，另添加1个时间戳字段，每次抽取结束后，将每次抽取后最晚1条记录的时间戳时间记录到时间戳表中，然后每次查询出发点时间时只需要从时间戳表中提取便可。

小知识，简而记之。

蓝的成长记系列_20151022

原创作品，出自 “深蓝的blog” 博客，欢迎转载，转载时请务必注明出处(http://blog.csdn.net/huangyanlong)。

蓝的成长记――追逐DBA(1)：奔走于路上，挺进山东

蓝的成长记――追逐DBA(2)：安装！安装！久背的记忆，引发我对DBA的重新认知

蓝的成长记――追逐DBA(3)：古董上操作，数据导入导出成了问题

蓝的成长记――追逐DBA(4)：追思少年情愁，再探oracle安装

蓝的成长记――追逐DBA(5)：不谈技术谈业务，恼人的利用系统

蓝的成长记――追逐DBA(6)：做事与做人：小技术，大为人

蓝的成长记――追逐DBA(7)：基础命令，地基之石

蓝的成长记――追逐DBA(8)：重拾SP报告，回想oracle的STATSPACK实验

蓝的成长记――追逐DBA(9)：国庆渐去，追逐DBA，新计划，新出发

蓝的成长记――追逐DBA(10)：飞刀防身，熟络而非专长：玩弄中间件Websphere

蓝的成长记――追逐DBA(11)：回家后的安逸，晕晕乎乎醒了过来

蓝的成长记――追逐DBA(12)：7天7收获的SQL

蓝的成长记――追逐DBA(13)：调和硬件厂商，6个故事：所见所感的“服务器、存储、交换机……”

蓝的成长记――追逐DBA(14)：难忘的“云”端，起步的hadoop部署

蓝的成长记――追逐DBA(15)：以为FTP很“简单”，谁成想1波3折

蓝的成长记――追逐DBA(16)：DBA也饮酒，被捭阖了

蓝的成长记――追逐DBA(17)：是分享，还是消费，在后IOE时期学会成长

蓝的成长记――追逐DBA(18)：小机上WAS集群故障，由1次更换IP引发

蓝的成长记――追逐DBA(19)：路上的插曲：触碰“框架”与“软件系统”

蓝的成长记――追逐DBA(20)：何故缘起，建库护航