Oralce增量同步方案系列2-Kettle增量模型

最新推荐文章于 2024-06-18 17:30:25 发布
最新推荐文章于 2024-06-18 17:30:25 发布
阅读量2.8k 收藏 8
点赞数 2
分类专栏： Oracle Kettle 文章标签： Kettle增量抽取 kettle二次开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/china_cctv_1/article/details/77864358
版权
本文是Oracle增量同步系列的第二部分，主要介绍如何使用Kettle实现增量模型。文章首先提出手动实现增量同步的思路，然后引入Kettle，详细说明了所需环境配置，包括JDK、Kettle版本和Oracle数据库。接着，展示了Kettle中的组件应用，如表输入、合并记录和开关/案例组件，用于判断和处理数据的增删改查。最后，对模型的扩展性和性能进行了讨论，并预告了后续关于Kettle调度模型的内容。
摘要由CSDN通过智能技术生成

Oralce增量同步方案系列2-Kettle增量模型

Oralce增量同步方案系列1-方案选型
雄赳赳气昂昂,打仗一定是军未动粮草先行。咱们这个也得有粮草,提起精神挽起袖子一起开始吧。
1.思考题

首先咱们抛开ETL工具,自己想想如果咱们自己做该怎么做这件事情?
- 从源获取同步表TABLE_A数据
- 从目标库同步表TABLE_A获取数据
- 拿到两张表的数据判断增删改查
- 将判断结果写入到目标库中
看上去貌似也不难吗?工作量也不大,楼主想说的亲们你用java自己写要多久完成？一张表多久？假设有1000张表要同步呢？
有木有现成的组件供我们使用,提高开发效率呢？最好有可视化界面,拖拖拽拽一个功能完成？

2.Kettle

环境篇

  • JDK1.8
  • kettle7.1直接官网上面下载

  • Oracle11GR2两个节点数据库(可以不同的实例)

    数据库安装完毕后将某个用户下的数据表导出一份做实验；

基于本篇刚开始的思考题,kettle中给我们提供了组件如下:

  1. 我们需要两个表输入控件,从源库以及目标库中获取数据,这里需要注意后面的orderby 表的主键字段必须指定,否则数据流转到第二步骤比对会错误(基于下标比对记录)
最低0.47元/天 解锁文章
残梦了无痕
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
使用kettle进行增量抽取数据
cbphan的博客
11-15 1万+
需求背景： 当下行业，做程序不在是一味的写增删改查了。数据汇聚、数据清洗、数据转换已成为普遍现象，本人所在的项目就是这样的一个情况。由于客户建设的系统数量多，业务分支复杂。虽同属一个主业务，但每次统筹决策查询数据时就犯难了。由于数据孤岛，关联查询成为最难解决的问题。为了解决这个问题，我需要做的就是将几十个系统数据全部汇聚在一起，方便后续的数据分析使用。 说到数据汇聚，我们通常采用的办法就是通过ETL工具进行抽取，也有通过Oracle触发器利用dblink方...
Kettle增量抽取数据实例.docx
04-01
Kettle增量抽取技巧
银行数仓项目实战（三）--使用Kettle进行增量，全量抽取
最新发布
qq_31727471的博客
06-18 641
我们在目标表中添加了NEWDATE这一行代表上次抽取的时间，上次抽取的时间有很多，可以用MAX（NEWDATE）选择距离我们上次抽取最近的时间。我们之前全量抽取的时候，设置了上一次的抽取时间为newdate，我们判断新记录可以选择一个字段判断增量，在这个表中，无疑使用hiredate（入职时间）是最佳选择。我们进行增量抽取的时候，只需要判断每一条数据中的hiredate是否大于上一次的抽取时间，如果大于说明是新数据，需要抽取。一般只有项目初始化的时候会使用到全量抽取，全量抽取的效率慢，抽取的数据量大。
kettle 递归循环抽取oracle数据库数据
maenlai0086的博客
07-09 2672
kettle 递归循环   var i = new Number(parent_job.getVariable("i"))+1; parent_job.setVariable("i",i); true; 
kettle 实现单表增量抽取
weixin_42390621的博客
12-22 733
kettle 实现表的增量抽取h和获取变量
Kettle增量数据同步,两步搞定
博客GordoHu
03-30 4410
Kettle增量数据同步,两步搞定;
Kettle增量同步.rar
07-02
Kettle增量同步，里边包含项目文件可能需要你新建数据库。源数据为Oracle，目标数据库为PostgreSQL. 增量记录表.SQL 用来生成 edp_etl_record 表 记录每次更新数据的执行记录过程。 更新时先取出edp_etl_record 表...
kettle实现时间戳增量同步案例
01-20
在这个“kettle实现时间戳增量同步案例”中，我们将探讨如何利用Kettle来实现Oracle数据库中基于时间戳的数据增量同步。 1. **理解时间戳增量同步** 时间戳增量同步是指只同步自上次同步以来发生改变的数据，通常...
Kettle实现增量抽取数据
01-28
在本场景中，我们将探讨如何使用Kettle从Oracle数据库中的两个表之间实现增量数据抽取，且这个过程并不依赖于时间戳。 首先，理解增量抽取的概念至关重要。增量抽取是从源系统中提取自上次抽取以来发生改变的新数据...
kettle增量抽取数据
10-18
kettle增量抽取数据
Kettle 增量式更新.docx
03-12
今天，我们将探讨如何使用 Kettle 实现 Oracle 数据库的增量式同步，包括插入、更新和删除操作。 增量式更新方案 为了实现增量式同步，我们将使用 Kettle 的 Transformation 功能。该方案分为两个独立的 ...
kettel增量抽取数据操作方法
China_LY11的博客
05-16 489
可以看到，数据来源表（localTest1，以下简称表1）是有10条数据,目标表（localTest2，以下简称表2）有5条数据。点击红框中的“获取字段”和“获取和更新字段”，让列表中显示需要读取和插入的字段，不需要插入就把列表中“更新”改为N。数据库选择表2的连接，点击“目标表”后面的“浏览”，选择表2，用同样的方式，从“输入”下拉中，把“表输入”拉至右边空白处。在“输入”下拉中，把“表输入”拉至右边空白处。然后右键拉过来的“表输入”，选择“编辑步骤”在“从步骤查询数据”下拉框中，选择表2的查询。
Kettle实现数据库的增量同步
wss8752的博客
12-13 4306
kettle实现两个Mysql数据库的增量同步
Kettle-7.0增量抽取订单数据
zisheng_wang_DATA的博客
05-11 9532
原文来自：http://www.ukettle.org/thread-594-1-1.html业务需求：从mysql数据库中，抽取订单和订单明细数据，做一定的轻度清洗，并将清洗后的数据存放到指定目录下，清洗出来的错误数据存到另一个存error data的目录。 实现步骤： 1.使用表输入控件，数据库连接选择mysql如下图：2.将取数的SQL逻辑写到代码填充处，并且取数的时间范围
kettle——（3）全量抽取和增量抽取
热门推荐
The more fighting, the more brave
09-22 2万+
kettle——（3）全量抽取和增量抽取
Kettle数据抽取---增量抽取
zftang的专栏
02-05 1万+
<br />使用KETTLE实现数据的增量抽取的方法大致如下：<br /> <br />从目标表中读取最大的时间戳或者增量字段ID,作为条件，然后把源表中所有大于这个增量字段的数据读出来，插入到目标表当中去；<br /> <br />1.打开Kettle工具，打开新建的全量抽取流；<br /><br /> <br /><br />2.选择INPUT,再拖出来一个“表输入”控件<br /><br /><br />3.打开表输入2，配置相关参数，<br /> <br />在这里，选择数据库连接，连接目标表，然后
ETL工具kettle怎么实现增量数据抽取:二 时间戳
weixin_33898876的博客
08-27 498
再进行增量数据抽取的时候,通过标志位来进行之外,还可以通过时间戳,所谓的时间戳就是某个时间字段,最好每条记录的该字段都是非空的；这种方法很简单，就是在输入的时候增加where条件；where条件语句就是一个时间的范围；比如： 转载于:https://blog.51cto.com/13602563/2165098...
mysql增量同步oracle_使用KETTLE从mysql同步增量数据到oracle
06-06
您可以使用Kettle来实现MySQL增量同步Oracle的功能。以下是大致的步骤： 1. 在Kettle中创建一个MySQL输入连接，连接到您的MySQL数据库，并选择需要同步的表。 2. 添加一个“表输入”步骤，用于从MySQL数据库中读取数据。 3. 添加一个“过滤器”步骤，用于过滤出需要同步的增量数据，例如使用“修改时间”或“创建时间”字段作为过滤条件。 4. 添加一个“转换”步骤，用于将MySQL数据转换为Oracle数据。 5. 在Kettle中创建一个Oracle输出连接，连接到您的Oracle数据库。 6. 添加一个“表输出”步骤，用于将转换后的数据输出到Oracle数据库中。 7. 在“表输出”步骤中选择“插入/更新”作为输出方式，以实现增量同步功能。 8. 运行Kettle作业，即可实现MySQL增量同步Oracle的功能。 需要注意的是，Kettle的具体操作步骤可能会因为版本不同而有所差异，请根据您使用的具体版本进行调整。同时，为了保证数据同步的准确性和安全性，建议在实际使用中进行充分测试和验证。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值