使用kettle一次简单的增量同步

最新推荐文章于 2024-10-09 16:26:26 发布
最新推荐文章于 2024-10-09 16:26:26 发布
阅读量6.9k 收藏 14
点赞数 1
分类专栏： kettle SQLserver
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cainiao_lj/article/details/80907933
版权

1.kettle关于增量同步的方法网上也有很多，本人也是刚入门使用了比较简单的一种，通过设置变量实现简单的增量同步

2.源表结构，必须要有主键


3.主程序

转换set_var

获取目标表当前id最大值，存入变量中


trans转换

通过sql条件查询，获取更新的内容，再更新到目标表中

4.运行主程序

这种方式本质来说是通过sql条件查询，比较目标表和源表中不同的字段值，通过设置变量在源表中获取变化的数据，再通过插入更新到目标表中。对于实时同步可以通过计划任务设置执行周期，根据业务的要求不同程度设置时间周期

菜鸡运维
关注
专栏目录
kettle 插入更新 数据增量_使用Kettle实现数据实时增量同步
weixin_36359110的博客
02-06 2279
2018-09-28： 示例job已上传至github,地址见文末0. 前言本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。1. 时间戳增量回滚同步假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每...
使用Kettle实现数据实时增量同步
热门推荐
dora_310的博客
05-30 10万+
0. 前言 本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。 1. 时间戳增量回滚同步 假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳，在下一个同步周期时，通过这个时...
kettle增量方案数据同步
08-08
kettle增量方案全量比对取增量-根据唯一标示
Kettle实现数据库的增量同步
wss8752的博客
12-13 5241
kettle实现两个Mysql数据库的增量同步
关于增量数据同步你得知道这些！
最新发布
oOBubbleX的博客
10-09 953
数据同步方式多样，增量同步是主要使用方式之一，其灵活高效的特点被广泛使用，今天我们来详细说下增量同步。
使用Kettle进行数据同步（增量）
JenKin的博客
06-11 6384
文章目录kettle介绍kettle安装kettle使用使用kettle同步关系型数据库数据（MySQL示例）1. 创建一个转换2. 选择表输入3. 格式转换4. 执行脚本5. 创建job使用kettle同步NoSql数据（MongoDB示例）创建转换时的注意事项MongoDBInput怎么创建job的创建如何在Linux上面运行已经创建好的job？1、把创建好的job传输到Linux机器上面2、编辑kjb文件3、执行任务 kettle介绍 Kettle 是一款国外开源的 ETL 工具，纯 Java 编写
kettle实现数据增量同步方案
sdmei
12-12 8432
1. 背景 我司目前数据库之间的数据同步都是oracle goldengate(ogg)方案，该方案的特点： 优点： 基于数据库的变更日志同步（oracle redo\mysql binlog），速度很快，对数据库性能影响很小，适合大量数据同步的场景 缺点： 同步表变更字段、新增表，需要修改数据库服务器上的很多配置文件，比较繁琐，在exact、pump、replicate进程很多的情况下，易...
Kettle增量同步数据
tom_fans的博客
05-16 1万+
Kettle有几年没用过了，昨天刚好开发找我，说同步ORACLE几张表的数据到MySQL，ORACLE的数据有可能更新，可以通过时间字段，但是全量同步，当天上生产由于数据量大不一定来得及，需要提前想个方案，问我做还是他来做，说他没有找到什么好办法，那就我来吧。就在这一瞬间，我脑子里浮现出来几个方案：1. 用python写个程序读取ORACLE，通过ID判断，来增量插入到MySQL2. 用JAVA写...
Kettle增量同步.rar
07-02
Kettle增量同步，里边包含项目文件可能需要你新建数据库。源数据为Oracle，目标数据库为PostgreSQL. 增量记录表.SQL 用来生成 edp_etl_record 表 记录每次更新数据的执行记录过程。 更新时先取出edp_etl_record 表...
使用Kettle同步mysql数据，增量同步
04-08
在处理MySQL数据库的数据同步任务时，Kettle能够提供增量同步的功能，有效实现数据的实时更新。增量同步通常指的是只同步自上次同步以来发生改变的数据，而不是对整个数据库内容进行全量同步，这样能够节省网络带宽...
Kettle之时间戳增量同步实战
wrkd35
08-27 4866
0. 前言 本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。 1. 时间戳增量回滚同步 假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳，在下一个同步周期时，通过这个时间戳同步该时间戳以后的增量数据。这是时间戳增量同步。 但是时间戳增量同步不能对源数据库中历史数据的删除操作进行同步，我
kettle数据增量同步实现
10-08
kettle的使用手册，及个人实现的数据增量同步，亲测可行！
kettle实现数据增量同步
wyazyf
10-08 1153
kettle的使用手册及个人实现的数据的增量同步（支持多种数据库的增量同步） 文档地址:https://download.csdn.net/download/wyazyf/10705252
【Kettle】—— Kettle增量同步变动数据
maixiaochai的博客
11-07 3万+
需求： 最近在用kettle同步数据的时候，有增量同步的需求。 之前也遇到过这个需求，查阅了很多文章，也试了很多方法，都没有实现我所需的简洁的方式。 这回在我一次次尝试无果的情况下，突然间的灵光一闪，让我豁然开朗，原来你就在我眼前。 写下这篇文章，让更多的人的时间得到节省。 时间是最稀缺的资源，更多的时间应该花在更有意义的事情上。 软件相关： 使用软件 kettle ...
kettle-单表增量同步
weixin_30299709的博客
04-11 214
目标：利于kettle实现单表增量同步，以时间为判断条件 背景：源表：db1.q1（2w条数据）目标表：db2.q2（0条数据） 表结构： CREATE TABLE `q1` ( `ID` bigint(20) NOT NULL AUTO_INCREMENT, `anlage` varchar(20) DEFAULT NULL, `card_count` int(11) DEFAU...
kettle从入门到精通 第三十九课 kettle 增量同步（日级）
zhangjin1222的博客
02-04 553
4、 同步T1表中T-1日数据至T2表的具体实现转换逻辑如下图所示，这里为了方便演示t1和t2表的表结构是一样的，当然可以是不一样的。后续会讲解下表1对N，N对1，N对N的同步案例。2、kettle增量全量同步示例依然基于test数据库，从t1表增量同步数据到t2表，假定每天0点跑批将t1表中的t-1日的数据同步到t2表中，如下图所示。c、删除t2表中T-1日的数据、同步T1表中T-1日数据至T2表是两个转换步骤，每个转换步骤引用自己的具体实现转换文件。b、同步t1表中t-1日数据至t2表。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值