KETTLE4个工作中有用的复杂实例--2、两表数据比较，循环取数据，比较后自动同步（部门、单位数据同步）

最新推荐文章于 2024-05-05 21:07:19 发布
置顶 最新推荐文章于 2024-05-05 21:07:19 发布
阅读量2.2k 收藏 13
点赞数
分类专栏： kette ETL 数据库
原文链接：https://www.cnblogs.com/dalaba/p/12126206.html
版权
kette 同时被 3 个专栏收录
16 篇文章 6 订阅
订阅专栏
ETL
14 篇文章 3 订阅
订阅专栏
数据库
5 篇文章 0 订阅
订阅专栏

附：Kettle实战视频教程，需要的朋友可以看看学习下哈~~

KETTLE4个工作中有用的复杂实例–2、两表数据比较，比较后自动同步（部门、单位数据同步）
二、两表数据比较核对，核对后自动同步至目标数据表
目标：比较t_bm表的数据和t_bm_target表的数据，以t_bm表为准，往t_bm_target中进行数据的自动同步；

在这里插入图片描述

具体操作见：
https://www.cnblogs.com/dalaba/p/12126206.html

kettle教程学习
关注
专栏目录
使用Kettle定时同步数据库的数据（详细实例操作）
故里2130
07-25 287
同步、迁移数据的工具非常多，比如Navicat、SqlServer等等，甚至很多公司，都是自己写的定时同步软件。这里就不演示了，因为你要同步的话，你的环境肯定是2个一样的数据库。下载jdk8，虽然现在已经java22了，俗话说，你发任你发，我用java8。总结：这样，就可以同步自己的数据了，不需要再去写同步软件了，或者使用其他的软件，而且是开源免费使用的。此时，你在test的表中，增加数据，3分钟后，就自动同步到test1中了。因为这个是Java开发的，所以，电脑没有配置Java环境，就会报错。
kettle比较不同数据库表并更新
qq_52360873的博客
08-04 3934
一、需求：存在两个不同的数据库 ORA 和 ORA，ORA有T_OWNERS表，ORA2有OWNERS表，先需要将T_OWNERS有但OWNERS没有的数据行更新到OWNERS中 （如果是同一个数据库，使用写left join SQL语句即可） 二、表结构 T_OWNERS （更新的数据来源表） OWNERS（需要更新的表） 三、主要路径 四、步骤 1、表输入-T_OWNERS 2、表输入-OWNERS 3、合并排序：注意连接方...
kettle实例--数据检验-数据一致性处理
fxxhmn的博客
10-11 1627
单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。单击【获取字段】按钮，用来指定查询数据所需要的关键字，这里选择的是Personnel_ Information_New数据表中的USERID字段和输入流里面的USERID字段；1.使用Kettle工具，创建一个转换data _consistency，并添加“表输入”控件、“值映射”控件、“插入/更新”控件以及Hop跳连接线。2.双击“表输入”控件，进入“表输入”配置界面；单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。
kettle表数据比较
weixin_44135544的博客
12-26 7171
使用合并记录组件： 其中tab_in_1和tab_in_2代表两个数据源， 合并记录： 新旧数据源可随意指定，获取需要对比的字段 此处为了对比将比较记录先放在file中 identical：比较的所有字段相同 deleted：旧字段数据（旧数据源表有，新数据源表没有） new：新字段数据（旧数据源表没有的，新数据源表有） 也可以再加一个switch/case组件，将对应的记录分开存放： ...
使用Kettle同步工具进行两个数据库连接的表数据的同步
RJSong
01-24 7031
1、下载kettle的压缩包  pdi-ce-6.1.0.1-196.zip   2、将此压缩包解压   3、打开data-integration下的Spoon.bat文件，出现如下界面。   4、点击文件 — 》新建 — 》转换，出现如下界面。   5、点击脚本，将执行SQL脚本拖到右侧。   6、点击SQL脚本进行编辑。   7、点击新建按钮，进...
使用kettle跨库同步表数据
海子@幸福人
05-09 1863
场景： 在oracle数据库中有一个表A，在mysql数据库中有一个表B，现在需要将表A中的数据，同步到表B中 解决方案：使用kettle转换表数据输入（数据来源）先new一个转换点击kettle的左上角的 + 号， 选择“转换在右边的的选项卡里，点击“核心对象”，选择“输入”，再找到“表输入”，选择拖拽到右边的空白处。 双击此图标 里面有一个数据连接，此时我们需要点击“新建，创建一个数据库连接，...
利用kettle进行数据库数据比对
多米诺DU的专栏
11-29 1万+
Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。本人用的版本是6.1。 之前用kettle这个开源的ETL工具是用来做数据抽取的，这次测试有个需求，是做数据库数据的比对。验证源表到目标表的逻辑正确，从而利用源表自己写SQL逻辑，生成的结果和目标表去比对。这次想到了利用kettle的数据比较功能，来做这些数据校验。 ...
kettle循环分页迁移数据的完整例子，一次迁移1w数据无压力
09-09
标题中的“kettle循环分页迁移数据的完整例子”指的是使用Kettle（Pentaho Data Integration，也称为ETL工具）进行数据迁移的一种方法。Kettle是一个强大的数据集成平台，它允许用户通过图形化的工作流设计来处理...
Kettle实现增量抽取数据
01-28
在本场景中，我们将探讨如何使用Kettle从Oracle数据库中的两个表之间实现增量数据抽取，且这个过程并不依赖于时间戳。 首先，理解增量抽取的概念至关重要。增量抽取是从源系统中提取自上次抽取以来发生改变的新数据...
kettle 通过配置文件实现 跨数据库 全量同步表数据
qq_52360873的博客
08-04 1385
一、需求背景 现有数据库ORA(SOURCE_TABLE)，ORA2(TARGET_TABLE)；ORA里有EMP、DEPT表，ORA里有EMP1、DEPT1表；现需要将ORA的表全部同步到ORA2的表中。 如图，该表记录了源表和目标表的表名（需要事前准备好） 二、 总体路径 大job的路径 小job的路径（循环同步数据） 1、先从excel表获取源表和目标表的表名 （转换） 2、然后再循环同步每个表的数据（大JOB里嵌套的小JOB） 三、步骤 1、exce...
使用kettle转换oracle与 mysql的表数据
02-02
简单讲解了使用kettle 如何把oracle与mysql的数据进行转换的方法及案列 和最基本的一些配置方法。
kettle实例（获取企业微信打卡数据并将数据入库）
Pluto_sang的博客
12-25 3218
kettle实例（获取企业微信打卡数据并将数据入库）Kettle简介流程简介从数据库中取出人员信息处理人员信息获取人员打卡信息将打卡信息入库如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Ke...
kettle入门(七) 之kettle增量方案(一)全量比对取增量-根据唯一标示
热门推荐
xiaohai798的专栏
08-01 6万+
kettle的转换ktr里有一个图元叫做合并记录可以把数据记录分为源和目的根据唯一标示 进行全量比对，
Kettle实现不同环境两个表结构相同的数据库表数据同步
ilumos的博客
12-13 1755
Kettle实现不同环境两个表结构相同的数据库表数据同步实现步骤1.总体步骤场景![在这里插入图片描述](https://img-blog.csdnimg.cn/20201213212100792.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dnZ2dnZ2dnZ2dyZXRldGV0,size_16,color_FFFFFF,t_70)配置sy
Kettle 实现数据同步
xu2693119912的博客
02-27 3561
因为服务器限制，现需要同步两个不同数据库的业务表数据。 这里选择使用Kettle 实现。5分钟，同步一次。 下面是实现的操作总结。 1.
Kettle:数据同步
读万卷书 行万里路
08-19 2787
数据同步
利用第三方kettle实现数据库之间的数据同步2（包括mysql和oracle之间数据的对接）
weixin_40496191的博客
04-23 1268
本次例子主要介绍关于如何读取mysql数据存到oracle的完整例子。关于kettle的入门使用有兴趣的可以看我的上一篇文章https://blog.csdn.net/weixin_40496191/article/details/105599434 一、表介绍 本次例子主要涉及到四张表，分别是 oracle临时表：r_temp_value； oracle历史数据表：r_sample_value；...
kettle 入门 案例（二） 实现多表连接查询，数据同步到一个表
Dxy的博客
04-02 5299
首先建立两个DB连接，如图： 然后点击核心对象，点击输入，拖一个表输入到转换页面，再点击输出，将插入/更新拖到转换页面，并按住shift连接。如图所示： 双击表输入，在sql里面写上表连接的sql语句,点击预览，如果有数据，则确定； 双击插入/更新，编辑需要映射的字段，需要注意的是id如果是标识列就不需要映射，会自动同步： 点击左上角的启动，如图所示则同步成功。 ...
kettle从入门到精通 第五十六课 ETL之kettle Microsoft Excel Output
最新发布
zhangjin1222的博客
05-05 1577
如果您希望流式传输XLSX文件，请选择此选项。8）在接收数据前不创建文件：如果选择了此选项，则在检测到一行后，步骤才会创建文件。1）开始输出自单元格：在MS Excel电子表格中指定要开始写入的单元格（字母列，数字行），例如，A2，表示从从第一列第二行位置开始写数据，第一行为模板文件内容。6）文件名包含步骤数目，文件名包含日期，文件名包含时间，指定日期时间格式，都是为了指定文件生成的名字，如下图所示。14）使用模版创建新文件、模版文件：可以设置模版文件，然后基于模板文件复制目标文件，最后将数据写入。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值