Kettle的使用 实时同步数据（插入/更新/删除数据）

已于 2022-09-19 10:31:01 修改
阅读量8.8k 收藏 9
点赞数 2
文章标签： java servlet 开发语言
于 2019-12-06 17:18:43 首次发布
原文链接：https://blog.csdn.net/fk478561641/article/details/80678506
版权

目的:数据库1的1表内容发生变化时，数据库2的2表同时发生变化

1.首先需要下载kettle工具  下载地址Kettle: Kettle 是一款国外开源的 ETL 工具，纯 Java 编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)    或者Home - Hitachi Vantara

2.下载以后

3.解压，找到 Spoon.bat双击（前提本地有数据库，还有java环境，把你本地的数据库相对应版本的驱动jar包放到   lib  下）

 4.运行以后出现下图页面（初次搞，看到这个页面会很懵逼，不知道从哪下手，不要紧，啥事都是一个学的过程）

 

小白博客
关注
kettle 实时同步数据（插入/更新/删除数据）
fk478561641的博客
06-13 6万+
首先需要下载kettle工具，本人的环境为：jdk1.8。下载地址：https://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip来接mysql数据库需要把mysql-connector-java-5.1.38.jar导入到解压后的lib文件中，并重启kettel。表同步为单...
kettle-数据同步比较数据（删除更新）
大帅的博客
11-11 1万+
需求是这样的： 从A数据库取数据到B数据库，A库中表只包含有效数据，因此同步到B库中也只能包含有效数据，其他的数据要么更新，要么删除，或者新增。 总体解决方案： 因为脚本是第三方执行的，我们没有权限执行脚本，同样也没有第三方也就是上面说的A库的权限，因此我们一开始一直纠结怎么取数据，把解决问题的点一直关注B库，后来才反应过来，既然是第三方执行脚本，他们有A库权限，那么执行脚本应该把A库算在可执行...
数据库中两张表之间的数据同步增加、删除与更新实现思路
12-15
分别创建增加、删除、更新的触发器（Trigger）来达到两张表之间数据同步的目的。 1:数据同步增加： 如有两张表——A表和B表，创建触发器使当A表插入数据后B表也同步插入数据。其中B表插入数据的字段需要同A表中的字段相对应。 代码如下: CREATE TRIGGER 触发器名称 ON A表 AFTER INSERT AS BEGIN INSERT INTO B表(B表字段1,B表字段2,B表字段3) SELECT A表字段1,A表字段2,A表字段3 FROM INSERTED END 2.数据同步删除： 如有两张表——A表和B表，创建触发器使当A表删除数据后B表也同步删除数据。其中B表与
服务器上使用kettle，迁移多表数据——全量更新与增量更新
最新发布
weixin_44130893的博客
03-31 422
在服务器中使用kettle完成数据的迁移
Spoon工具使用（kettle进行实时同步数据）
热门推荐
qq_42709715的博客
11-03 4万+
文章目录Spoon工具使用（kettle进行实时同步数据）安装相关概念转换DB连接步骤和节点连接作业DB连接作业项目 Spoon工具使用（kettle进行实时同步数据） 安装 解压完Spoon安装包后，双击.bat文件打开 相关概念 转换：一个或多个数据抽取的工作流程，比如全量抽取某个表的数据等等 作业：进行转换或其他操作的集合 转换 新建转换之后，找到主对象树，这里DB连接、步骤、节点连接是必要的，其他的功能项按需求来 DB连接 DB连接是配置数据库的连接信息，以供步骤进行使用（下面会讲到步
使用Kettle实现数据实时增量同步
jimmy609的专栏
05-08 4509
0. 前言 本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。 1. 时间戳增量回滚同步 假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳，在下一个同步周期时，通过这个时间戳同步该时间戳以后的增量数据。这是时间戳增量同步。 但是时间戳增量同步不能对源数据库中历史数据的删除操作进行同步，我们可
kettle 插入更新 数据增量_使用Kettle实现数据实时增量同步
weixin_36359110的博客
02-06 2483
2018-09-28： 示例job已上传至github,地址见文末0. 前言本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。1. 时间戳增量回滚同步假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每...
Kettle的使用（四）：插入/更新(Linux)
何止是执迷不悟
12-21 5545
插入/更新的使用原因： 原表（表输入）进行过修改，复制的表也想得到修改后的数据，而原来的数据迁移并不会执行只修改不同数据这项操作。（原有的数据迁移进行的操作：追加插入所有的数据，不管这项数据有没有修改） 具体步骤： 1.建立转换 具体操作见Kettle的使用（一） 2.设置表输出 双击表输出，与Kettle的使用（三）中表输入的设置相同 3.设置插入/更新 双击插入/更新，设置完后，点击确定 4.保存 5.运行 ...
kettle 增量更新并标识删除的记录
10-11
ETL之kettle 增量更新并标识删除的记录 不删除原始数据
kettle 数据同步
06-06
kettle oracle 数据同步mysql ，先自己要把oracle和mysql jar 放到 对应lib目录下，作业和转换可以直接打开查看，
kettle同步数据库所有的表数据到其他库.rar
03-01
本示例中的"Kettle同步数据库所有的表数据到其他库.rar"是一个具体的应用场景，即利用Kettle将一个数据库的所有表数据同步到另一个具有相同表结构的数据库中。这里，我们不仅讨论如何实现这个功能，还将深入探讨...
kettle 插入更新 数据增量_使用Kettle工具进行增量数据同步
weixin_27027459的博客
01-27 1581
增量同步的方式有很多种，我使用的是: 快照表 + 触发器需求：当主库库表发生增删改时，从库库表与主库库表数据保持一致。环境：1、Mysql2、kettle 7.1思路：1、在主库中，将需要同步的库表新建快照表，表结构一致。#创建同步临时表(insert)DROP TABLE IF EXISTS brch_temp_insert;CREATE TABLE brch_temp_insert like ...
利用 Kettle 实现数据库之间的数据同步
qq_35309973的博客
02-27 9182
Kettle 是一个功能强大的 ETL 工具，它提供了丰富的组件和插件，支持多种数据源和目标，如关系型数据库、文件、XML 等。Kettle 的主要优点是易于使用、灵活性高，并且支持图形化界面操作。
Kettle（七）：输出控件 (文本文件、Excel、SQL文件、更新、插入更新、删除、表输出)
MengCXJ的博客
03-04 3549
本文介绍常用的输出控件： 1 Excel输出 Excel的输出有两种控件可供选择： 1. ”Excel输出“控件不可选，后缀是.xls 2. ”Microsoft Excel输出“控件可选： Excel2007之前（后缀是.xls） Excel2007之后（后缀是.xlsx） 控件要点： 2 SQL文件输出 SQL文件输出：实际生成的是特定数据库表的sql脚本。 3 更新 ”更新“控件：用源Excel表去更新目标...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值