03-PDI(Kettle)导入与导出CDC

最新推荐文章于 2024-06-14 13:36:28 发布
最新推荐文章于 2024-06-14 13:36:28 发布
阅读量860 收藏 12
点赞数 2
分类专栏： 数据预处理专题-PDI(KETTLE) 文章标签： etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38139250/article/details/121232302
版权

文章目录

03-PDI(Kettle)导入与导出CDC

数据的全量、增量、差异备份

参考博客：
https://blog.csdn.net/qq_38097573/article/details/103593150

在很远很远的地方，有一个帐房先生。
他每天要记很多很多的账单。
老先生一生谨慎，为了保证账本的安全，
便找来三个徒弟帮忙来对账本做备份，
这样即使账本丢失了，
也可以用备份的账本继续使用。
三个徒弟各有所长，分别采用了不同的做法：
大徒弟▼
在这里插入图片描述性格宅心仁厚，成熟稳重。
他采用的方式是每天都把师父的账单重新抄录一份。这样做的好处就是每天都是一份完整的账本，每一个备份的账本都可以直接使用，坏处则是每天要花费很多时间去进行记录，并且需要很多纸、墨水以及存账本的柜子。
二徒弟▼
在这里插入图片描述性格聪明伶俐，人小鬼大。
她觉得大师姐的方法太累太耗时，不如每天只抄录账本上新增的信息，这样她每天总是第一个抄完，不仅节省时间，而且为店里节省了大量的纸张、墨水等成本。不过她最讨厌师父来检查账本了，因此她需要将每次纪录的数据拼凑在一起才能组成一个完成的账本。
三徒弟▼
在这里插入图片描述性格心思缜密，粗中有细
她借鉴了两位师姐的办法，进行折中创新，具体是隔一段时间就把账本的所有信息重新抄一份，而在这段时间内则只纪录每天相比于“总账”变化的信息，比如周一抄一份总账，周二买菜一项花了100元，那么周三就把“买菜花了100元”纪录下来；周三买肉花了50元，周四就把周三的“买肉花了50元”和周二的“买菜一项花了100元”都记录下来。如果师父要查账的话，她把新纪录的数据和“总账”拼在一起，就是完整的账本了。这种方式在记账速度、纸墨使用量、账单查看等方面都是一种较为折中的方式。哦，对了，一个比较明显的不足就是解释起来需要打更多的字！

三个徒弟的三种方法各有千秋，后来为了便于记忆，账房先生给这三种方法起了名字，分别叫：全量备份、增量备份和差异备份。
在这里插入图片描述

基于时间戳的源数据CDC

实验原理

从时间戳识别出变化的数据并只导入这部分数据。根据cdc_time_log表中的上次执行时间，以及输入的当前执行时间，增量导出student_cdc表中的数据。输出的数据存储在XX/student_cdc.xls文件中。其中，cdc_time_log表的主要作用是记录上次执行的时间，拉取当前执行时间与上次执行时间之间的数据即为增量数据， 拉取成功后，需要将cdc_time_log表中的上次执行时间更新为当前执行时间。这样就可以继续进行CDC操作。

实验步骤

  1. 创建student_cdc表。

在mysql命令行执行student_cdc.sql脚本

student_cdc.sql内容

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for student_cdc
-- ----------------------------
DROP TABLE IF EXISTS `student_cdc`;
CREATE TABLE `student_cdc`  (
  `学号` int(11) NOT NULL,
  `姓名` varchar(45) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `性别` varchar(45) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `班级` varchar(45) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `年龄` varchar(45) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `成绩` int(15) NULL DEFAULT NULL,
  `身高` varchar(45) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `手机` varchar(45) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `插入时间` varchar(45) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `更新时间` varchar(45) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`学号`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------
-- Records of student_cdc
-- ----------------------------
INSERT INTO `student_cdc` VALUES (1, '张一', '男', '1701', '16', 78, '170', '18946554571', '2018-08-06', '2018-08-06');
INSERT INTO `student_cdc` VALUES (2, '李二', '男', '1701', '17', 80, '175', '18946554572', '2018-08-06', '2018-08-06');
INSERT INTO `student_cdc` VALUES (3, '谢逊', '男', '1702', '18', 95, '169', '18946554573', '2018-08-06', '2018-08-06');
INSERT INTO `student_cdc` VALUES (4, '赵玲', '女', '1702', '19', 86, '180', '18956257895', '2018-08-06', '2018-08-06');
INSERT INTO `student_cdc` VALUES (5, '张明', '男', '1704', '20', 85, '185', '18946554575', '2018-08-07', '2018-08-07');
INSERT INTO `student_cdc` VALUES (6, '张三', '女', '1704', '18', 92, '169', '18946554576', '2018-08-06', '2018-08-07');

SET FOREIGN_KEY_CHECKS = 1;

在mysql命令行执行cdc_time_log.sql脚本。

cdc_time_log.sql内容

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for cdc_time_log
-- ----------------------------
DROP TABLE IF EXISTS `cdc_time_log`;
CREATE TABLE `cdc_time_log`  (
  `id` int(11) NOT NULL,
  `上次执行时间` varchar(45) CHARACTER SET latin1 COLLATE latin1_swedish_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = latin1 COLLATE = latin1_swedish_ci ROW_FORMAT = Dynamic;

-- ----------------------------
-- Records of cdc_time_log
-- ----------------------------
INSERT INTO `cdc_time_log` VALUES (1, '2018-08-04');

SET FOREIGN_KEY_CHECKS = 1;

2.新建并设计转换。

（1）设计转换如下
在这里插入图片描述
（2） 命名参数设置：鼠标在转换的空白地方右键，选择“转换设置”。

在命名参数标签卡“命名参数”中配置命名参数的名字（cur_time）和默认值（“2018-08-04”）。

在这里插入图片描述
（3）“table imput”的配置：

命名为“CDC日志表输入”

建立数据库连接，在数据库连接的option中设置

characterEncoding为utf-8

SQL查询语句为：

SELECT 上次执行时间 as last1,'${cur_time}' as cur1,上次执行时间 as last2,'${cur_time}' as cur2 FROM cdc_time_log

在这里插入图片描述

（4）“table input2”设置
步骤命名为“学生表输入”
Sql语句为：

SELECT 学号, 姓名, 性别, 班级, 年龄, 成绩, 身高, 手机, 插入时间, 更新时间, '${cur_time}' as 导入时间 FROM student_cdc WHERE (插入时间>=? and 插入时间<=?) OR (更新时间>? and 更新时间<=?)

在这里插入图片描述
（5）“Microsoft Excel 输出”步骤设置，文件输出路径设置为"e:/output/student_cdc" 。

（6）“插入/更新”步骤设置

在这里插入图片描述

由于insert/update的上一部为excel，这里选择get update fields后，会出现多余字段，可通过edit mapping配置对应的映射关系。其中table field 为当前表中的字段，stream field为上一个步骤流在的字段。

3、运行

（1）在弹出的对话框中，设置命名参数cur_time的值为“2018-08-06”，点击“启动”按钮，将在路径/home/ubuntu中输出名为student_cdc.xls的文件，cdc_time_log表中的内容将自动改为输入的参数值。

在这里插入图片描述excel输出内容为：
在这里插入图片描述

（2）第二次运行，将参数修改为“2018-08-07”。

在这里插入图片描述excel输出内容为：
在这里插入图片描述cdc_time_log内容更新为： 2018-08-07

基于触发器的CDC

实验原理

类似时间戳和主键序列的CDC操作，区别在于这里采用触发器生成增量条件。

实验步骤

  1. 创建所需表。

sql语句内容如下：
注意：这段代码是总的SQL语句，不需要执行，下面会对这段语句分步骤解释，读者执行分步骤中的语句即可

create table studentsync like studentinfo;

-- desc studentsync;
ALTER TABLE studentsync MODIFY createtimestamp datetime;
ALTER TABLE studentsync MODIFY modifytimestamp datetime;
ALTER TABLE studentsync ADD synchronizationtime datetime;


-- 创建操作日志表
DROP TABLE IF EXISTS cdc_opt_log;
create table cdc_opt_log 
(
	SID int PRIMARY KEY,
	optype char(1),
	opflag char(6)
);

-- 创建 INSERT 触发器
DROP TRIGGER IF EXISTS tri_insert_student;
DELIMITER //
CREATE TRIGGER tri_insert_student AFTER INSERT ON studentinfo FOR EACH ROW 
begin
	IF (SELECT 1 FROM cdc_opt_log WHERE SID=new.ID) THEN 
		UPDATE cdc_opt_log SET optype='I',opflag='未处理' WHERE SID=new.ID;
	ELSE
		INSERT INTO cdc_opt_log(SID, optype, opflag) VALUES (new.ID, 'I', '未处理');
	END IF;
end
//
DELIMITER ;

-- 创建 UPDATE 触发器
DROP TRIGGER IF EXISTS tri_update_student;
DELIMITER //
CREATE TRIGGER tri_update_student AFTER UPDATE ON studentinfo FOR EACH ROW 
begin
	IF (SELECT 1 FROM cdc_opt_log WHERE SID=new.ID) THEN 
		UPDATE cdc_opt_log SET optype='U',opflag='未处理' WHERE SID=new.ID;
	ELSE
		INSERT INTO cdc_opt_log(SID, optype, opflag) VALUES (new.ID, 'U', '未处理');
	END IF;
end
//
DELIMITER ;

-- 创建 DELETE 触发器 
DROP TRIGGER IF EXISTS tri_delete_student;
DELIMITER //
CREATE TRIGGER tri_delete_student AFTER DELETE ON studentinfo FOR EACH ROW 
begin
	IF (SELECT 1 FROM cdc_opt_log WHERE SID=old.ID) THEN 
		UPDATE cdc_opt_log SET optype='D',opflag='未处理' WHERE SID=old.ID;
	ELSE
		INSERT INTO cdc_opt_log(SID, optype, opflag) VALUES (old.ID, 'D', '未处理');
	END IF;
end
//
DELIMITER ;


-- 触发插入
-- INSERT INTO studentinfo (ID,Name,Gender,Class,Age,Score,Height,PhoneNumber) VALUES (10,'Shan Zhang','M','1704',18,91,171,'19946554576');

-- 触发删除
-- DELETE FROM studentinfo WHERE Name='Shan Zhang';

-- 触发更新
-- UPDATE studentinfo SET Score=92 WHERE ID=1;

-- 清空操作日志表
-- TRUNCATE cdc_opt_log;
  1. 创建INSERT触发器

创建INSERT触发器tri_insert_student

DROP TRIGGER IF EXISTS tri_insert_student;
DELIMITER //
CREATE TRIGGER tri_insert_student AFTER INSERT ON studentinfo FOR EACH ROW 
begin
	IF (SELECT 1 FROM cdc_opt_log WHERE SID=new.ID) THEN 
		UPDATE cdc_opt_log SET optype='I',opflag='未处理' WHERE SID=new.ID;
	ELSE
		INSERT INTO cdc_opt_log(SID, optype, opflag) VALUES (new.ID, 'I', '未处理');
	END IF;
end
//
DELIMITER ;

studentinfo表中插入一条记录后，触发器会执行，向cdc_opt_log中更新或插入一条记录。
本段语句解释如下：

DROP TRIGGER IF EXISTS tri_insert_student;

表示删除触发器

DELIMITER // 表示修改定界符为 // ，避免MySQL遇到 分号;立刻执行

CREATE TRIGGER tri_insert_student AFTER INSERT ON studentinfo FOR EACH ROW 表示创建的触发器为tri_insert_student ，
后面的AFTER表示插入后执行，可选BEFORE，
后面的INSERT表示插入时触发器执行，
ON studentinfo 表示触发器定义在某表中，
FOR EACH ROW表示每行都会触发。

begin
	IF (SELECT 1 FROM cdc_opt_log WHERE SID=new.ID) THEN 
		UPDATE cdc_opt_log SET optype='I',opflag='未处理' WHERE SID=new.ID;
	ELSE
		INSERT INTO cdc_opt_log(SID, optype, opflag) VALUES (new.ID, 'I', '未处理');
	END IF;
end

表示触发器的语句，其中new 为支持的关键字，表示修改后的行，old表示修改前的行。

DELIMITER ;表示修改定界符回默认的;。

  1. 创建UPDATE触发器
    创建INSERT触发器tri_update_student
DROP TRIGGER IF EXISTS tri_update_student;
DELIMITER //
CREATE TRIGGER tri_update_student AFTER UPDATE ON studentinfo FOR EACH ROW 
begin
	IF (SELECT 1 FROM cdc_opt_log WHERE SID=new.ID) THEN 
		UPDATE cdc_opt_log SET optype='U',opflag='未处理' WHERE SID=new.ID;
	ELSE
		INSERT INTO cdc_opt_log(SID, optype, opflag) VALUES (new.ID, 'U', '未处理');
	END IF;
end
//
DELIMITER ;

这段语句与插入触发器基本类似，不再重复描述

  1. 创建DELETE触发器

创建INSERT触发器tri_delete_student

DROP TRIGGER IF EXISTS tri_delete_student;
DELIMITER //
CREATE TRIGGER tri_delete_student AFTER DELETE ON studentinfo FOR EACH ROW 
begin
	IF (SELECT 1 FROM cdc_opt_log WHERE SID=old.ID) THEN 
		UPDATE cdc_opt_log SET optype='D',opflag='未处理' WHERE SID=old.ID;
	ELSE
		INSERT INTO cdc_opt_log(SID, optype, opflag) VALUES (old.ID, 'D', '未处理');
	END IF;
end
//
DELIMITER ;
  1. 转换设计

在这里插入图片描述

  1. 具体步骤

（1）Table Input ：GetCDCOptlog

   SELECT
    optype,
    '已完成' as res,
    SID
   FROM cdc_opt_log
   WHERE opflag='未处理'

（2）Switch Case ：IsDeleteOperation
在这里插入图片描述

（3）Table Input：GetStudentCDC
sql语句：

   SELECT
     ID
   , Name
   , Gender
   , Class
   , Age
   , Score
   , Height
   , PhoneNumber
   , createtimestamp
   , modifytimestamp
   , ? as optype
   , ? as res
   , CURRENT_TIMESTAMP as loadtimestamp
   FROM studentinfo
   WHERE ID=?

在这里插入图片描述

（4）Insert Update：InsertOrUpdateStudentCDCtoSyncTable
这一步骤会将新插入的数据更新到studentsync。
在这里插入图片描述

（5）Insert Update：UpdateCDCOptLog
这一步骤会将cdc_opt_log表在的optflag字段修改为res值（已完成）
在这里插入图片描述
（6）Delete : DeleteStudentFromSyncTable

这一步骤会删除studentsync中的指定ID的记录
在这里插入图片描述（7）Insert / Update : UpdateCDCOptLog2

在这里插入图片描述至此：转换编写完成，如有需要，请留言，我会把ktr文件发到邮箱中

基于快照的CDC案例

实验原理

如果没有时间戳，不允许使用触发器，就要使用快照表。可以通过比较源表和快照表来获得数据变化。
基于快照的CDC可以检测到插入、更新和删除的数据，这是相对于基于时间戳的CDC方案的有点。其缺点是需要大量存储空间来保存快照。

实验步骤

  1. 复制表中全部数据的几种方法
    复制studentinfo表中数据到新表studentinfobak1
    可选用的方法,
    参考：
    https://blog.csdn.net/weixin_39732609/article/details/113555925
   1、复制表结构及数据到新表
    CREATE TABLE 新表SELECT * FROM 旧表
    这种方法会将oldtable中所有的内容都拷贝过来，当然我们可以用delete from newtable;来删除。
    不过这种方法的一个最不好的地方就是新表中没有了旧表的primary key、Extra（auto_increment）等属性。需要自己用 alter 添加，而且容易搞错。
    
    2、只复制表结构到新表
    CREATE TABLE 新表 SELECT * FROM 旧表 WHERE 1=2
    或CREATE TABLE 新表 LIKE 旧表
    
    3、复制旧表的数据到新表(假设两个表结构一样)
    INSERT INTO 新表SELECT * FROM 旧表
    
    4、复制旧表的数据到新表(假设两个表结构不一样)
    INSERT INTO 新表(字段1,字段2,.......) SELECT 字段1,字段2,...... FROM 旧表
    
    5、可以将表1结构复制到表2
    SELECT * INTO 表2 FROM 表1 WHERE 1=2
    
    6、可以将表1内容全部复制到表2
    SELECT * INTO 表2 FROM 表1
    
    7、 show create table 旧表;
    这样会将旧表的创建命令列出。我们只需要将该命令拷贝出来，更改table的名字，就可以建立一个完全一样的表
    
    8、mysqldump
    用mysqldump将表dump出来，改名字后再导回去或者直接在命令行中运行
    
    9、复制旧数据库到新数据库（复制全部表结构并且复制全部表数据）
    #mysql -u root -ppassword
    >CREATE DATABASE new_db;
    #mysqldump old_db -u root -ppassword--skip-extended-insert --add-drop-table | mysql new_db -u root -ppassword
    
    10、表不在同一数据库中（如，db1 table1, db2 table2)
    sql: insert into db1.table1 select * from db2.table2 (完全复制)
    insert into db1.table1 select distinct * from db2.table2(不复制重复纪录）
    insert into tdb1.able1 select top 5 * from db2.table2 (前五条纪录)
  1. 创建studentinfo表
-- -----------------------------------------------
-- 创建kettledb数据库
-- -----------------------------------------------
CREATE DATABASE IF NOT EXISTS kettledb;
USE kettledb;

-- -----------------------------------------------
-- 创建studentinfo表
-- 添加两个时间戳字段：
--   ID : 学生记录主键，设置未自增序列 （AUTO_INCREMENT）
--        新增学生记录会ID会自动增加1
--   createtimestamp : 记录创建时间
--                     当记录被创建是自动设置当时时间
--   moditytimestamp : 记录修改时间
--                     当记录被更新是自动设置当时时间
-- -----------------------------------------------
DROP TABLE IF EXISTS studentinfo;
CREATE TABLE studentinfo  (
  ID int UNSIGNED PRIMARY KEY AUTO_INCREMENT,
  Name varchar(20),
  Gender char(2),
  Class char(10),
  Age tinyint UNSIGNED DEFAULT NULL,
  Score tinyint UNSIGNED DEFAULT NULL,
  Height tinyint UNSIGNED DEFAULT NULL,
  PhoneNumber char(11),
  createtimestamp datetime DEFAULT CURRENT_TIMESTAMP,
  modifytimestamp datetime ON UPDATE CURRENT_TIMESTAMP
);

-- -----------------------------------------------
-- 插入几条测试数据
-- createtimestamp和modifytimestamp会自动添加
-- -----------------------------------------------
INSERT INTO studentinfo (ID, Name, Gender, Class, Age, Score, Height, PhoneNumber) VALUES (1, 'Yi Zhang', 'M', '1701', 16, 78, 170, '19946554571');
INSERT INTO studentinfo (ID, Name, Gender, Class, Age, Score, Height, PhoneNumber) VALUES (2, 'Li, Er', 'M', '1701', 17, 80, 175, '19946554572');
INSERT INTO studentinfo (ID, Name, Gender, Class, Age, Score, Height, PhoneNumber) VALUES (3, 'Xun Xie', 'M', '1702', 18, 95, 168, '19946554573');
INSERT INTO studentinfo (ID, Name, Gender, Class, Age, Score, Height, PhoneNumber) VALUES (4, 'Ling Zhao', 'F', '1702', 19, 86, 180, '19946554574');
INSERT INTO studentinfo (ID, Name, Gender, Class, Age, Score, Height, PhoneNumber) VALUES (5, 'Ming Zhang', 'M', '1704', 20, 85, 185, '19946554575');
INSERT INTO studentinfo (ID, Name, Gender, Class, Age, Score, Height, PhoneNumber) VALUES (6, 'San Zhang', 'F', '1704', 18, 95, 169, '19946554576');
  1. 复制kettledb数据库中的studentinfo数据到新的表studentinfobak1
use kettledb;
show create table studentinfo;

返回studentinfo建表语句为：

CREATE TABLE `studentinfo` (
  `ID` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `Name` varchar(20) DEFAULT NULL,
  `Gender` char(2) DEFAULT NULL,
  `Class` char(10) DEFAULT NULL,
  `Age` tinyint(3) unsigned DEFAULT NULL,
  `Score` tinyint(3) unsigned DEFAULT NULL,
  `Height` tinyint(3) unsigned DEFAULT NULL,
  `PhoneNumber` char(11) DEFAULT NULL,
  `createtimestamp` datetime DEFAULT CURRENT_TIMESTAMP,
  `modifytimestamp` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8

根据studentinfo建表语句创建studentinfobak1表，注意这里修改了表名为studentinfobak1。

CREATE TABLE `studentinfobak1` (
  `ID` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `Name` varchar(20) DEFAULT NULL,
  `Gender` char(2) DEFAULT NULL,
  `Class` char(10) DEFAULT NULL,
  `Age` tinyint(3) unsigned DEFAULT NULL,
  `Score` tinyint(3) unsigned DEFAULT NULL,
  `Height` tinyint(3) unsigned DEFAULT NULL,
  `PhoneNumber` char(11) DEFAULT NULL,
  `createtimestamp` datetime DEFAULT CURRENT_TIMESTAMP,
  `modifytimestamp` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8
  1. 快照备份
    将studentinfo中的数据备份到studentinfobak1 中
INSERT INTO studentinfobak1 SELECT * FROM studentinfo
  1. 修改studentinfo表中数据
    执行的sql：
-- 触发插入
INSERT INTO studentinfo (ID,Name,Gender,Class,Age,Score,Height,PhoneNumber) VALUES (10,'Shan Zhang','M','1704',18,91,171,'19946554576');

-- 触发删除
DELETE FROM studentinfo WHERE Name='San Zhang';

-- 触发更新
UPDATE studentinfo SET Score=92 WHERE ID=1;

-- 清空操作日志表
-- TRUNCATE cdc_opt_log;
  1. 复制studentinfo表中数据到新表studentinfobak2
    创建studentinfobak2表
CREATE TABLE `studentinfobak2` (
  `ID` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `Name` varchar(20) DEFAULT NULL,
  `Gender` char(2) DEFAULT NULL,
  `Class` char(10) DEFAULT NULL,
  `Age` tinyint(3) unsigned DEFAULT NULL,
  `Score` tinyint(3) unsigned DEFAULT NULL,
  `Height` tinyint(3) unsigned DEFAULT NULL,
  `PhoneNumber` char(11) DEFAULT NULL,
  `createtimestamp` datetime DEFAULT CURRENT_TIMESTAMP,
  `modifytimestamp` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8
  1. 快照备份
    将studentinfo中的数据备份到新的备份表studentinfobak2 中：
INSERT INTO studentinfobak2 SELECT * FROM studentinfo
  1. kettle步骤

（1）设计转换
table input 为第一次的备份studentinfobak1中的数据
table input 2 为第二次的备份studentinfobak2 中的数据
通过比较两份数据中的差（Merge rows diff），即可获得增量数据，
再通过synchronize after merge中进行合并操作。synchronize after merge空间常与Merge rows diff联合使用，用于合并后同步信息 =根据某个字段值的条件插入,删除,更新数据库表
在这里插入图片描述
（2）table input1
在这里插入图片描述
（3）table input2

在这里插入图片描述
（4）merge rows (diff)
这里会将Table input作为参照表，Table input 2 作为比较表，根据ID进行匹配，ID相同的进行比较，如果ID仅存在与Table input 中，而在Table input 2 不存在,表示该数据被删除了。如果ID不存在与Table input 中，而在Table input 2 存在,表示该数据为新增。如果ID同时存在与Table input和Table input 2中，比较其ID ,Name，Gender…等字段，如果这些字段在两个表输入不相同，表示该数据进行过修改。
在这里插入图片描述
有提示建议先排序，可以在merge rows前执行下sort row操作，读者可以再添加排序步骤
在这里插入图片描述（5）synchronize after merge设置
General选项通用设置：
Target Schema为比较两份快照后端增量输出表，保存这两份快照中的增量数据。
Table field表示目标标准的ID字段，Stream field1 表示上一步merge rows diff输出的字段。
最下面的update fields表示要更新的字段。
第一次执行，可以选择SQL—>Execute生成目标表。

在这里插入图片描述
Advanced选项设置高级
在这里插入图片描述
至此：转换编写完成，如有需要，请留言，我会把ktr文件发到您的邮箱

IT从业者张某某
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
kettleCDC_oracle_mysql.rar
08-19
kettle实现数据库时间戳CDC，（时间戳中间表在oracle中，另一个版本在mysql中）这是一个oracle到mysql增量的ktr和kjb文件，请关注解压后的文件README.txt
kettleCDC_oracle_mysql.zip
08-20
kettle实现数据库时间戳CDC，(时间戳中间表在mysql中的，)这是一个oracle到mysql增量的ktr和kjb文件，请关注解压后的文件README.txt
如何使用 PDI 和 Oracle CDC 来实现Oracle 数据库向其他数据库的数据同步
lzrzhao
09-05 321
本文讲述如何利用 Oracle CDC 和 PDI 来实现 Oracle 数据库向其他数据源的数据同步。 第一节 介绍Oracle CDC，如果您熟悉 Oracle CDC 可以跳过该节。第二节 说明如何配置 PDI 里的 Oracle CDC 输入和 Oracle CDC 输出 插件。 第一节 Oracle CDC 介绍（本节主要内容摘自 OWB 用户手册） 发布和订阅模型大多数 CD...
kettle从入门到精通 第六十九课 ETL之kettle kettle cdc mysql，轻松实现增量同步
最新发布
zhangjin1222的博客
06-14 322
1、之前kettle cdc mysql的时候使用的方案是canal+kafka+kettle，今天我们一起学习下使用kettle的插件Debezium直接cdc mysql。5、Debezium步骤配置中设置ddl为true（输出dml和ddl），更多属性配置参考Debezium官网。2、Debezium步骤配置如下（只输出dml），更多属性配置参考Debezium官网。4）create、delete、update、ddl是写日志步骤，模拟后续操作。3、switch-case配置如下，不做过多介绍。
Kettle下实现Excel数据导入导oracle数据库
qq_39008613的博客
01-09 2460
一、安装kettle 1.解压下载下的压缩包，不需要安装 然后找到.bat批处理文件Spoon双击运行,运行过程中会出现命令提示符,运行成功后如下图所示； 二 Kettle软件的使用 打开软件之后然后在右边主对象树进行新建 双击“转换”； 点击页签"核心对象",展开"输入"列表将"Excel输入"模块拖入右侧空白区域； 双击“Excel输入”模块，展开Excel输入...
8.3.0.0-371 pentaho-kettle kettle-core
04-10
8.3.0.0-371 pentaho-kettle kettle-core
pdi-ce-9.3.0.0-428a安装包-1（kettle）
02-13
标题 "pdi-ce-9.3.0.0-428a安装包-1（kettle）" 提供的信息表明这是一个关于Pentaho Data Integration（PDI）的社区版（CE）9.3.0.0-428a的安装包。Kettle是PDI的别名，它是一个强大的ETL（Extract, Transform, Load...
pentaho-kettle9.5版本pdi-ce-9.5.0.1-261
08-10
pentaho-kettle是开源的etl工具，这个是自编译的kettle9.5版本pdi-ce-9.5.0.1-261，请使用JDK17运行，支持macos m1芯片 win,linux,解压就能用。如果有条件也可以自己编译，具体可以看我的csdn博客，kettle 从9.4 ...
Kettle工具pdi-ce最新版百度网盘下载
03-29
Kettle工具pdi-ce-9.1最新版百度网盘下载，CSDN上传有大小限制，
kettle-pdi-ce-9.0
05-11
kettle-pdi-ce-9.0是 Kettle（也称为 Pentaho Data Integration, PDI）的一个特定版本。Kettle 是一个开源的 ETL（Extract, Transform, Load）工具，用于数据集成和数据迁移任务。现在直接找到特定版本的Kettle（也...
Kettle根据时间戳同步数据的例子
06-20
Kettle根据时间戳同步数据的例子，本例同步双方的表结构一致，如果是不一致的表结构需要自行另做调整
Kettle社区版，商业版，傲飞数据整合平台比较.pdf
08-27
Kettle社区版，商业版，傲飞数据整合平台比较.pdf
产品介绍：数据集成总线 - CDC for Kettle 典型应用场景
weixin_33827965的博客
07-07 241
DIB(数据集成总线)是一款面向高端用户的数据集成平台产品，同时广泛应用商业智能(Business Intelligence)领域。DIB不仅具有强大的ETL功能，另外一大特色就是CDC(Change Data Capture)，基于增量数据，用于实时数据集成 。合作联系方式： QQ: 2711787943QQ空间图片不能外部引用所以还是给出这个百度空间地址吧:数据集成总线 ...
kettle基于快照的CDC
m0_55834564的博客
10-10 404
➢第一步将student_cdc表中的数据复制到student_cdc_sanp1表中，使 student_cdc_sanp1作为student_cdc表的第一个快照，同时将数据输出到 student_cdc_sync表中。➢第三步将student_cdc表中的数据复制到student_cdc_sanp2表中，使 student_cdc_sanp2作为student_cdc表的第二个快照。➢第二步对student_cdc中的数据进行插入、更新、删除操作。
Kettle | CDC三大类型相关实验总结
Klingx的博客
05-06 4313
Kettle入门实验之基于 触发器 / 快照 / 日志 的CDC实操，详解流程。
kettle实验四：基于触发器的CDC案例
weixin_44727274的博客
01-27 2857
【实验目的】 1.明白Kettle的“表输入”，“插入/更新”组件背后的基本运行过程，以得到期望值。 2.熟练掌握“表输入”，“插入/更新”组件的使用，实现不同数据表数据内容的改变。 【实验原理】 首先说明各个表的作用：cdc_opt_log表是记录用户对那些数据进行了哪些操作，同时记录该操作是否被处理，拉取成功后，我们需要让系统将cdc_opt_log表中字段名为“cdctype”更新为“已处理”； student_cdc_sync表保存插入操作的增量数据；基于上一个实验的数据更新的实例，基于“插入/更新
Kettle + SQLServer 触发器实现 CDC 方案
rocky_24的博客
11-19 1633
一 说明 1.1 文档说明 ​ 本文档提供一种变化数据的捕获机制，也即是说这种机制能 够保证在数据源数据有变化的时候能够区分出这些变化的新数据和旧数据，增量的抽取这 些变化了的数据，而无需为了保证数据的同步每次都做全量的抽取。 ​ 变更数据捕获（Change Data Capture，即CDC） 1.2 方案适用性 ​ 方案对所有有触发器机制的数据库都适用，除了创建触发器及中间表的逻辑因 数据库的不同而不同以外，主干抽取逻辑都一致，代码的可复用程度高，数据抽取的性能较高 1.3 实
Kettle CDC(增量的实现)---基于快照实现
糖糖糖糖糖先森
12-01 4021
原理: 两个表格基于全表进行对比，产生标记位, (identical,new,changed,deleted），根据相应的标记位更新目标表 1、整个转换如下图所示的 元表和目标表使用的数据表结构如下： 合并记录: 过滤记录(使用 数据同步:  高级选项卡：
Android BSP测试工程师-PDI职位
12-24
引用提到了关于Kettle（Pentaho Data Integration / PDI）的构建和安装，而引用[2]提到了一个开源ETL工具kettle的下载和解压。这些信息与Android BSP测试工程师-PDI职位无关。如果您有关于Android BSP测试工程师-PDI...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT从业者张某某

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值