kettle
qq_52360873
这个作者很懒,什么都没留下…
展开
-
kettle 整体数据库迁移路径
具体迁移教程详见kettle 通过配置文件实现 跨数据库 全量同步表数据_qq_52360873的博客-CSDN博客kettle 通过配置文件实现 跨数据库 增量同步表数据_qq_52360873的博客-CSDN博客原创 2021-08-04 17:22:40 · 202 阅读 · 0 评论 -
kettle 通过配置文件实现 跨数据库 增量同步表数据
一、需求背景将数据库ORA中的ACCOUNT、OWNERS表增量迁移到数据库ORA2的ACCOUNT_KETTLE、OWNERS_KETTLE表中。(增量迁移指:仅更新上次同步时间至今所新增的数据,非重新更新全部数据)二、分析本次是在单表增量同步上多加了“配置文件、设置多个变量、循环”的步骤配置文件、设置变量 指:事先将需求表相关信息记录在excel表中,目的是将相关表信息设置为变量便于做循环同步相关信息有:目标数据表名、源数据表名、主键、同步表名、时间键、有效键循环包括..原创 2021-08-04 17:03:37 · 905 阅读 · 1 评论 -
kettle 通过配置文件实现 跨数据库 全量同步表数据
一、需求背景现有数据库ORA(SOURCE_TABLE),ORA2(TARGET_TABLE);ORA里有EMP、DEPT表,ORA里有EMP1、DEPT1表;现需要将ORA的表全部同步到ORA2的表中。如图,该表记录了源表和目标表的表名(需要事前准备好)二、 总体路径大job的路径小job的路径(循环同步数据)1、先从excel表获取源表和目标表的表名 (转换)2、然后再循环同步每个表的数据(大JOB里嵌套的小JOB)三、步骤1、exce...原创 2021-08-04 13:55:37 · 1395 阅读 · 1 评论 -
kettle比较不同数据库表并更新
一、需求:存在两个不同的数据库 ORA 和 ORA,ORA有T_OWNERS表,ORA2有OWNERS表,先需要将T_OWNERS有但OWNERS没有的数据行更新到OWNERS中(如果是同一个数据库,使用写left join SQL语句即可)二、表结构T_OWNERS (更新的数据来源表)OWNERS(需要更新的表)三、主要路径四、步骤1、表输入-T_OWNERS2、表输入-OWNERS3、合并排序:注意连接方...原创 2021-08-04 00:43:28 · 3962 阅读 · 1 评论 -
kettle 用JIDN连接多数据库JOIN到同一张表
一、需求背景:现有两个数据库 ORA 和 ORA2 ;ORA数据库有EMP表,ORA2数据库有DEPT、EMP_DEPT表;需要将EMP和DEPT联结JOIN到EMP_DEPT表中(如果是在同一个数据库中,只需要写一个join的sql语句即可)二、表结构如下ORA 的EMP表ORA2 的DEPT表ORA2 的EMP_DEPT表 (需要提前按需建表)三、JIDN连接方式前的文件配置这里用到JIDN的方式连接数据库,前提是要配置好 文件(在文件里面插入要用...原创 2021-08-03 23:47:29 · 1135 阅读 · 0 评论 -
kettle同步错误原因到数据库的同步日志
需求背景:在源表ACCOUNT基础上对目标表T_ACCOUT做增量迁移;如果发生错误,则将错误原因更新到同步orcale的同步日志表t_tbrz中这里只展现如何同步错误原因到日志中,关于增量迁移的具体方法详见https://blog.csdn.net/qq_52360873/article/details/119335847总体路径:1、在第二个转换中,右键 ‘插入/更新’ 选定义错误处理2、填写错误描述列名3、新增 ‘样本行’ ,并联结,右键选择 ‘错误处理步骤’.原创 2021-08-03 22:55:05 · 1592 阅读 · 0 评论 -
kettle增量迁移
总体路径:转换1:转换2:转换3:原创 2021-08-02 22:55:06 · 356 阅读 · 0 评论 -
kettle全量迁移
需求:将t_account表的全部数据迁移到account表方法一(简单粗暴版,全部照搬迁移)步骤:1.新建转换→添加表输入和表输出→连接2.编辑表输入新建→数据库连接(记得先测试)→ 写入sql语句3.编辑表输出(填写红框部分即可)4.点击执行就可以啦方法二(利用 字段选择插入/更新 功能 进行个性化迁移 )步骤:1..新建转换→添加表输入、(字段选择)和插入/更新→连接注:字段选择(可选)根据需要添加2.编辑表输入 、插...原创 2021-08-02 11:15:14 · 355 阅读 · 0 评论