本文是Oracle增量同步系列的第二部分，主要介绍如何使用Kettle实现增量模型。文章首先提出手动实现增量同步的思路，然后引入Kettle，详细说明了所需环境配置，包括JDK、Kettle版本和Oracle数据库。接着，展示了Kettle中的组件应用，如表输入、合并记录和开关/案例组件，用于判断和处理数据的增删改查。最后，对模型的扩展性和性能进行了讨论，并预告了后续关于Kettle调度模型的内容。
Oralce增量同步方案系列2-Kettle增量模型
Oralce增量同步方案系列1-方案选型
雄赳赳气昂昂,打仗一定是军未动粮草先行。咱们这个也得有粮草,提起精神挽起袖子一起开始吧。
1.思考题
首先咱们抛开ETL工具,自己想想如果咱们自己做该怎么做这件事情?
- 从源获取同步表TABLE_A数据
- 从目标库同步表TABLE_A获取数据
- 拿到两张表的数据判断增删改查
- 将判断结果写入到目标库中
看上去貌似也不难吗?工作量也不大,楼主想说的亲们你用java自己写要多久完成？一张表多久？假设有1000张表要同步呢？
有木有现成的组件供我们使用,提高开发效率呢？最好有可视化界面,拖拖拽拽一个功能完成？
2.Kettle
环境篇
- JDK1.8
- kettle7.1直接官网上面下载
Oracle11GR2两个节点数据库(可以不同的实例)
数据库安装完毕后将某个用户下的数据表导出一份做实验；
基于本篇刚开始的思考题,kettle中给我们提供了组件如下:
- 我们需要两个表输入控件,从源库以及目标库中获取数据,这里需要注意后面的orderby 表的主键字段必须指定,否则数据流转到第二步骤比对会错误(基于下标比对记录)
最低0.47元/天 解锁文章
扫一扫
5747
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
