kettle spoon判断增量更新_使用Kettle工具进行增量数据同步

增量同步的方式有很多种，我使用的是: 快照表 + 触发器

需求：

当主库库表发生增删改时，从库库表与主库库表数据保持一致。

环境：

1、Mysql

2、kettle 7.1

思路：

1、在主库中，将需要同步的库表新建快照表，表结构一致。

#创建同步临时表(insert)

DROP TABLE IF EXISTS brch_temp_insert;

CREATE TABLE brch_temp_insert like brch;

#创建同步临时表(delete)

DROP TABLE IF EXISTS brch_temp_delete;

CREATE TABLE brch_temp_delete like brch;

#创建同步临时表(update)

DROP TABLE IF EXISTS brch_temp_update;

CREATE TABLE brch_temp_update like brch;

2、在主库中，分别新增库表的增、删、改的触发器。

#创建同步表触发器(insert)

DROP TRIGGER IF EXISTS tri_insert_brch;

CREATE TRIGGER tri_insert_brch

AFTER INSERT ON brch

FOR EACH ROW

BEGIN

insert into brch_temp_insert

(

ROW_ID,

BRCH_ID,

BRCH_NAME

)

values(

new.ROW_ID,

new.BRCH_ID,

new.BRCH_NAME

);

END;

#创建同步表触发器(delete)

DROP TRIGGER IF EXISTS tri_delete_brch;

CREATE TRIGGER tri_delete_brch

AFTER delete ON brch

FOR EACH ROW

BEGIN

insert into brch_temp_delete(

ROW_ID

)

values(

old.ROW_ID

);

END;

#创建同步表触发器(update)

DROP TRIGGER IF EXISTS tri_update_brch;

CREATE TRIGGER tri_update_brch

AFTER update ON brch

FOR EACH ROW

BEGIN

insert into brch_temp_update(

ROW_ID,

BRCH_ID,

BRCH_NAME

)

values(

new.ROW_ID,

new.BRCH_ID,

new.BRCH_NAME

);

END;

2、新建一个转换，该转换只针对一张表的增删改。

3、新建‘表输入’控件，查询主库的快照表

4、新建‘插入/更新’控件，插入数据到从库的库表，查询的关键字要求唯一。

5、新建‘删除’控件，将主库的快照表中的数据删除。

注意：主库的库表，要新增针对增、删、改的三张表快照，三张表的步骤同上面的1 - 5 一致。

6、新建作业控件

分别将三个转换引用进来。

7、配置发送邮件服务

8、完成