kettle实时增量同步增删改数据

最新推荐文章于 2024-06-03 10:38:47 发布
最新推荐文章于 2024-06-03 10:38:47 发布
阅读量3.7k 收藏 8
点赞数
文章标签： 数据库 同步 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aryyya/article/details/113786562
版权
本文介绍了如何在Windows环境下安装和使用Kettle进行数据同步，对比了Kettle与DataX的优缺点。通过实例展示了创建转换getTransfer.ktr和作业sync.kjb的步骤，包括从PostgreSQL读取数据并更新到SQL Server的过程，并设置了定时作业每分钟运行一次。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我又尝试了下使用kettle去做同步数据。使用心得：kettle适合快速上手，在增量同步上比datax灵活，但是会比较笨重，各有各的好处吧。

kettle安装操作：

  1. 系统：windows
  2. kettle版本：8.3
  3. 下载kettle源码并解压：git clone https://github.com/pentaho/pentaho-kettle.git
  4. 在data-integration目录下点击spoon.bat，即可打开kettle的图形化工具

kettle使用步骤：
1. 建立两个文件：一个转换 命名为getTransfer.ktr，一个作业 命名为sync.kjb

2. getTransfer.ktr 流程图，表输入+ 插入/更新，建立节点连接

 建立节点连接后  -----> <

最低0.47元/天 解锁文章
唐程程
关注
kettle 实时同步数据（插入/更新/删除数据）
fk478561641的博客
06-13 6万+
首先需要下载kettle工具，本人的环境为：jdk1.8。下载地址：https://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip来接mysql数据库需要把mysql-connector-java-5.1.38.jar导入到解压后的lib文件中，并重启kettel。表同步为单...
kettle 插入更新 数据增量_使用Kettle工具进行增量数据同步
weixin_27027459的博客
01-27 1572
增量同步的方式有很多种，我使用的是: 快照表 + 触发器需求：当主库库表发生增删改时，从库库表与主库库表数据保持一致。环境：1、Mysql2、kettle 7.1思路：1、在主库中，将需要同步的库表新建快照表，表结构一致。#创建同步临时表(insert)DROP TABLE IF EXISTS brch_temp_insert;CREATE TABLE brch_temp_insert like ...
kettle 增量更新并标识删除的记录
10-11
ETL之kettle 增量更新并标识删除的记录 不删除原始数据
kettle使用_使用Kettle工具进行增量数据同步
weixin_39611070的博客
11-29 438
增量同步的方式有很多种，我使用的是: 快照表 + 触发器需求：当主库库表发生增删改时，从库库表与主库库表数据保持一致。环境：1、Mysql2、kettle 7.1思路：1、在主库中，将需要同步的库表新建快照表，表结构一致。#创建同步临时表(insert) DROP TABLE IF EXISTS brch_temp_insert; CREATE TABLE brch_temp_insert lik...
kettle增量循环导入数据--实现更新、删除
m0_62049948的博客
10-19 1446
在工作中遇到了需要自增循环导入的情况，因为数据量太大，所以想采用根据总数据量，kettle判断循环次数，人为控制每批次传输的数量。在网上查找了很多信息，自己也解决了一些问题，汇聚成了一片小文章，分享一下。 第一是作业总设计图： 1---定义变量模块内容 第一步为转换结构：主要用于定义变量和获取变量，为下步判断和第三步的循环提供基础。 2-----判断模块内容 3------循环模块内容 javaScript内主要是变量循环+1（${RUN_NUM}）以及控制每批次传输的...
kettle 插入更新 数据增量_kettle-2（实现增量更新-插入&更新）
weixin_39548541的博客
12-19 915
？由来：需要将一个系统的数据(MySQL)抽取到另一个系统(Oracle)，使用ETL方式。随着数据量的增加，全量同步数据不可行，所以得做增量更新。业务数据表有主键，除了新增外，以前同步的数据非主键信息可能会发生更改。1.看了下网上的思路，有一种是这样的(A代表表名)：一句话概括-通过主键对比找到新增行-同步数据。①select max(id) from mysql.A；===>>&g...
kettle 数据同时插入删除问题
zhangfeng1742的专栏
11-28 1万+
在用kettle进行数据同步时，发现一个问题：目的数据库的数据少于源数据库的数据，丢失的数据去哪里了呢？ 先上图： 步骤1：从源数据库抽取数据 步骤2：删除目的数据库的数据 步骤3：插入到目的数据库 但是问题来了，这么简单的一个过程，到底是哪里出了问题呢？ 首先，我们需要了解kettle的运行过程，如上图，步骤1，2，3虽然是按照顺序执行的，但是是并行的！也就是
使用Kettle同步mysql数据，增量同步
04-08
在处理MySQL数据库的数据同步任务时，Kettle能够提供增量同步的功能，有效实现数据的实时更新。增量同步通常指的是只同步自上次同步以来发生改变的数据，而不是对整个数据库内容进行全量同步，这样能够节省网络带宽...
Kettle主从同步：数据增删改操作与增量策略详解
Kettle是一款强大的数据集成工具，常用于主从同步，即从一个数据源（源库）向另一个数据源（目标库）复制数据。本文主要探讨了四种常见的同步场景： 1. 只增加、无更新、无删除：当只需要将源库中新产生的数据迁移...
Kettle实现Oracle数据库增量同步：增删改策略详解
Kettle增量式更新是一种高效的ETL（Extract, Transform, Load）技术，主要用于实时或定期同步Oracle数据库中的数据，确保数据的一致性和准确性。本文主要关注于处理Oracle数据库的增删改操作，通过Kettle工具实现...
ETL之kettle实现异构库表的数据增删改功能
04-02
ETL之kettle实现异构库表的数据增删改功能
实现SQL Server到MySQL的表增量同步
逃跑的肉丸的博客
01-01 9081
前序 本教程是为了实现SQLSERVER数据库表中数据增量同步到MySQL数据库，并每天定时执行一次。 注：只实现了新增与更新数据，源库中删除的数据未实现同步 1、前期准备 开始之前，请记得自行安装JDBC，安装步骤百度搜索即可 Kettle的安装，请参考我的《Kettle安装部署》教程 配置步骤 2、配置“输入”--配置源数据库 2.1、新建转换 打开Kettle软体，新建一个
Kettle ETL调用 java代码来进行数据库的增删改查
weixin_30298497的博客
04-13 475
1.KettleUtil工具类，可以执行本地的转换或作业，可以连接kettle资源库并执行资源库中的转换或作业 1 package com.zxyp.kettle; 2 3 import org.pentaho.di.cluster.ClusterSchema; 4 import org.pentaho.di.cluster.SlaveServer; ...
kettle之java组件 对redis集群进行增删改查
最新发布
信徒博客
06-03 258
commons-pool2-2.4.2.jar（kettle自带commons-pool-1.5.7.jar）
使用Kettle实现数据实时增量同步
热门推荐
dora_310的博客
05-30 10万+
0. 前言 本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。 1. 时间戳增量回滚同步 假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳，在下一个同步周期时，通过这个时...
kettle-数据同步比较数据（删除更新）
大帅的博客
11-11 1万+
需求是这样的： 从A数据库取数据到B数据库，A库中表只包含有效数据，因此同步到B库中也只能包含有效数据，其他的数据要么更新，要么删除，或者新增。 总体解决方案： 因为脚本是第三方执行的，我们没有权限执行脚本，同样也没有第三方也就是上面说的A库的权限，因此我们一开始一直纠结怎么取数据，把解决问题的点一直关注B库，后来才反应过来，既然是第三方执行脚本，他们有A库权限，那么执行脚本应该把A库算在可执行...
SpringBoot同步进行增删改
暗武逢天的博客
06-20 1万+
springboot同步增删改 首先创建好springboot空项目 1.进行数据源配置: 在这里插入代码片 server.port=8090 #配置数据源 #spring.datasource.username=root #spring.datasource.password=928732275 #spring.datasource.url=jdbc:mysql://localhost:3306/demo6?serverTimezone=Asia/Shanghai #spring.datasource.
kettle之合并记录增加、修改、删除记录集
qq_36688928的博客
05-21 3225
转自：https://blog.csdn.net/tison100/article/details/84897857 1、 2、 3、 4、 5、
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值