kettle 插入更新 数据增量_使用Kettle工具进行增量数据同步

本文介绍了如何使用Kettle工具结合MySQL的触发器实现数据增量同步。通过创建快照表并在主库上设置增、删、改触发器,将变动记录到临时表中。然后在Kettle转换中读取这些临时表,通过插入/更新和删除操作,保持从库与主库的数据一致性。最后,配置作业并设置邮件通知,确保整个同步过程的完整性和可靠性。
摘要由CSDN通过智能技术生成

增量同步的方式有很多种,我使用的是: 快照表 + 触发器

需求:

当主库库表发生增删改时,从库库表与主库库表数据保持一致。

环境:

1、Mysql

2、kettle 7.1

思路:

1、在主库中,将需要同步的库表新建快照表,表结构一致。

#创建同步临时表(insert)

DROP TABLE IF EXISTS brch_temp_insert;

CREATE TABLE brch_temp_insert like brch;

#创建同步临时表(delete)

DROP TABLE IF EXISTS brch_temp_delete;

CREATE TABLE brch_temp_delete like brch;

#创建同步临时表(update)

DROP TABLE IF EXISTS brch_temp_update;

CREATE TABLE brch_temp_update like brch;

2、在主库中,分别新增库表的增、删、改的触发器。

#创建同步表触发器(insert)

DROP TRIGGER IF EXISTS tri_insert_brch;

CREATE TRIGGER tri_insert_brch

AFTER INSERT ON brch

FOR EACH ROW

BEGIN

insert into brch_temp_insert

(

ROW_ID,

BRCH_ID,

BRCH_NAME

)

values(

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值