Kettle增量数据同步,两步搞定

最新推荐文章于 2024-05-16 17:37:33 发布
最新推荐文章于 2024-05-16 17:37:33 发布
阅读量4.3k 收藏 19
点赞数 4
文章标签： etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GordoHu/article/details/129852880
版权
本文介绍了如何使用Kettle进行大数据量的增量数据同步，主要针对两种同步方式：插入/更新和数据同步。重点讲述了每周或每日仅同步源数据表中新增和修改记录的第一种方式，并提供了完整的作业流程图。
摘要由CSDN通过智能技术生成

Kettle抽取增量数据 , 适用于大数据量初次全量抽取后,每天或者每周对源数据做增量同步抽取。

增量数据同步分为两种：

同步第一种：如图 ， 插入/更新 指的是 只同步 新增和修改的数据, 在源数据表中已经被物理删除的数据不同步。

同步第二种： 如图，数据同步 指的是 同步 新增和修改，物理删除的数据 。 

今天的需求：每周或者每天同步增量数据 ， 这里同步的数据指的是 源数据表中新增，修改的数据，这次说 第一种同步方式，第二种下回说。

完整流程作业图如下:  (后续会拆解梳理每步流程)

最低0.47元/天 解锁文章
GordoHu
关注
  • 4
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
使用Kettle实现数据实时增量同步
qq_36551302的博客
02-29 1767
前言 本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。 时间戳增量回滚同步 假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳，在下一个同步周期时，通过这个时间戳同步该时间戳以...
Kettle的增量抽取以及定时抽取转换更新数据入门教程
qq_45075097的博客
09-16 7401
  在实际项目中往往需要使用定时更新数据，当Kettle的转换比较多的时候，手动一个个执行转换有点不太现实，今天就分享怎么完成定时更新数据。如果其中有些步骤看不懂的话可以看我Kettle分类下的另一篇文章 增量更新包括三个组件（我拿之前做好的来示范，刚添加完三个组件之后，组件之间的连接线都是只有一个箭头，当完成表输入2的配置之后，表输入到表输入2的连接线就会变成这张图一样） 先配置第一个表输入，第一个表输入的数据库连接为ODS层所在的数据库 select max(ts) ts from ods层的表名
kettel增量抽取数据操作方法
最新发布
China_LY11的博客
05-16 433
可以看到，数据来源表（localTest1，以下简称表1）是有10条数据,目标表（localTest2，以下简称表2）有5条数据。点击红框中的“获取字段”和“获取和更新字段”，让列表中显示需要读取和插入的字段，不需要插入就把列表中“更新”改为N。数据库选择表2的连接，点击“目标表”后面的“浏览”，选择表2，用同样的方式，从“输入”下拉中，把“表输入”拉至右边空白处。在“输入”下拉中，把“表输入”拉至右边空白处。然后右键拉过来的“表输入”，选择“编辑步骤”在“从步骤查询数据”下拉框中，选择表2的查询。
使用kettle进行增量抽取数据
热门推荐
fangdengfu123的博客
04-05 5万+
使用背景： 当前项目中使用的数据依赖于其它系统，别人的系统当然不会把实时更新的数据一个不差的发送给我们（当然更加不会让我们对他们系统的数据库进行编程），所以我们要自己动手去获取他们系统中的数据。使用工具： kettle首先需要考虑的问题是不可能是全量进行数据的拷贝，数据量如此庞大！ 那么就得考虑增量，何为增量去百度。。哈哈哈至于如何增量抽取数据，有很多种办法，我这里示范的是通过时间去增量抽取（
kettle实现数据增量同步方案
sdmei
12-12 8119
1. 背景 我司目前数据库之间的数据同步都是oracle goldengate(ogg)方案，该方案的特点： 优点： 基于数据库的变更日志同步（oracle redo\mysql binlog），速度很快，对数据库性能影响很小，适合大量数据同步的场景 缺点： 同步表变更字段、新增表，需要修改数据库服务器上的很多配置文件，比较繁琐，在exact、pump、replicate进程很多的情况下，易...
【kettle】实现mysql表之间的数据增量更新
qq_38930129的博客
03-22 3861
kettle-实现mysql表数据增量更新 第一步-创建转换 第二步-添加步骤控件 添加 “表输入” 步骤 用于源表注册、数据查询 添加“插入/更新”步骤 用于目标表的注册、数据插入 建立联系 第三步-添加数据库表 添加源表 1、新建数据库连接 2、添加数据库连接信息 3、测试连接成功与否 4、选中源表 点击确定 手动添加查询条件—同步更新当天的时间数据 添加目标表 新建新数据库连接，同上 选中目标表 获取字段 第四
Kettle实现增量抽取数据
01-28
Kettle实现Oracle两表之间进行增量抽取数据，不需要时间戳！
Kettle数据增量同步
水滴的专栏
03-27 500
假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳，在下一个同步周期时，通过这个时间戳同步该时间戳以后的增量数据。这是时间戳增量同步。
kettle教程---增量更新
weixin_44846436的博客
12-13 2440
以下操作都在5.0.1版本下进行开发，其余版本可以进行自动比对 在平时工作当中，会遇到这种情况，而且很常见。比如：增量抽取(每隔2个小时抽取截至到上次抽取时间的记录) 一、操作前提： 存在3张表，源表（t_student），同步日志表（t_tbrz），插入表（t_target_student），表结构如下图所示 学生表 同步日志表 待插入学生表 二、kettle操作 1）如上图所示，需要4...
实验4.数据全量、增量、比较更新
m0_55834564的博客
11-22 806
通过“表输入”对MySQL表格的数据读入，然后通过“JavaScript代码”更新抽取数据的时间，再通过“表输入出”保存表格到MySQL数据库。1.利用Kettle的“表输入”，“表输入出”，”JavaScript代码”组件，实现数据全量更新。2.熟练掌握“JavaScript代码”，“表输入”，“表输入出”组件的使用，实现数据全量更新。Step3：配置‘字段’选项卡，获取字段名称，并设置字段的数据类型（重点，以防报错）Step1：双击‘表输入’组件，新建数据库的连接并进行测试，
Kettle增量同步.rar
07-02
Kettle增量同步，里边包含项目文件...初次更新 需要初始化 edp_etl_record表 里面 data_range_fm、data_range_to 字段为 需要抽取数据表中的 min（唯一自动或时间戳），此时表示同步全量，执行完毕后第二次开始同步增量
kettle全量多表数据同步
05-06
XXXKETTLE全量多表数据同步 1 一. 建立资料库 3 1.1 添加资源库 3 二. 前期准备工作 7 2.1 异结构数据传输 7 2.2 数据校验 9 三. 建立转换 10 3.1 创建‘转换’（GET—ORACLE-TABLES） 10 3.1.1 创建数据源 10 3.1.2 添加核心对象 12 3.2 创建‘转换’（INSERT—MYSQL-TABLES） 15 3.2.1 创建数据源 15 3.2.2 添加核心对象 15 3.2.3 转换设置 17 四. 建立作业 18 4.1 创建‘ORACLE TO MYSQL’作业 18 4.2 添加核心对象 18 4.3 设置GET-TABLES 19 4.4 设置INSERT-MYSQL 23 五. 实验验证 28 5.1 ORACLE插入数据 28 5.2 执行JOB 29 5.3 MYSQL数据验证 30
kettle实现时间戳增量同步案例
01-20
kettle详细实现Oracle数据库通过时间戳方式数据增量同步案例
Kettle根据ID增量更新.zip
02-06
Kettle根据ID增量抽取数据，达到同步的目的，比如一张ID自增的表，需要进行数据同步，就可以用到这个
kettle数据增量同步实现
10-08
kettle的使用手册，及个人实现的数据增量同步，亲测可行！
kettle增量方案数据同步
08-08
kettle增量方案全量比对取增量-根据唯一标示
使用Kettle同步mysql数据，增量同步教程执行步骤
10-24
本文将深入探讨如何使用Kettle工具实现MySQL数据库之间的增量同步。Kettle，也称为Pentaho Data Integration (PDI)，是一款强大的ETL（提取、转换、加载）工具，能够高效地处理数据集成工作。 首先，我们需要理解...
Kettle的使用 实时同步数据（插入/更新/删除数据）
SIMPLE
12-06 7962
目的:数据库1的1表内容发生变化时，数据库2的2表同时发生变化 1.首先需要下载kettle工具 下载地址https://gitee.com/mirrors/Kettle 或者https://community.hitachivantara.com/s/article/data-integration-kettle 2.下载以后 3.解压，找到 Spoon.bat双击（前提本地有...
kettle 增量更新
09-01
对于Kettle的增量更新，可以按照以下步骤进行操作： 1. 首先，需要获取目标表中的最大时间戳。可以使用表输入组件执行SQL语句，通过查询目标表的最大更新时间来获取。如果目标表为空，需要设置一个默认的起始时间戳或者先进行全量同步。 2. 接下来，使用表输入组件获取源头表中的增量数据。通过查询源头表中更新时间大于目标表最大时间戳的数据来实现。可以使用上一步获取到的最大时间戳作为查询条件，只取时间戳之后的数据。 3. 将获取到的增量数据插入或更新到目标表中。可以使用插入更新组件来实现这一步。此步骤将增量数据逐条插入或更新到目标表中。 需要注意的是，如果在插入或更新过程中出现了主键冲突，可能是因为没有进行正确的排序，导致合并记录组件里的比对数据出现重复。所以在操作时，需要确保数据的排序以避免主键冲突的问题。可以参考引用中的说明来进行具体操作。 最后，可以将增量更新操作设置为定时任务，以定期执行增量更新的过程，确保数据的同步和更新。 适应数据结构具有时间戳字段和数据记录不会删除的设计思路 关于Kettle增量更新中主键冲突问题的说明<span class="em">1</span><span class="em">2</span> #### 引用[.reference_title] - *1* [kettle基础入门(四)kettle增量更新](https://blog.csdn.net/youniubi/article/details/115328522)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [使用kettle实现增量更新](https://blog.csdn.net/qq_40877166/article/details/107716595)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值