KETTLE实现MYSQL增量同步和全量同步

本文介绍了如何使用Kettle工具实现MySQL数据库的全量同步和增量同步。全量同步是在固定时间进行全部数据的复制,而增量同步则记录每次变化并在备份中仅保存变化部分。Kettle实现全量同步的步骤包括创建资源和目标数据库、新建作业、获取表名并进行数据同步。在数据同步环节,检查目标数据库表是否存在,若存在则直接同步,否则创建新表后再同步。
摘要由CSDN通过智能技术生成

什么是增量同步 什么是全量同步

全量同步:

每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方,包括系统和所有数据。这种备份方式每次都需要对系统和所有数据进行一次全量备份。
如上,如果两次备份之间数据没有任何变化,那么两次备份的数据是一样的。也就是说100GB的数据即使没有发生任何数据变化,也会多耗费100GB的存储空间去做备份。但这种备份方式最大的好处就是在恢复丢失数据时,只需要对一个完整的备份进行操作就能够恢复丢失数据,大大加快了系统或数据恢复的时间

增量同步:

增量备份即在第一次全量备份的基础上,分别记录每次的变化。由于增量备份在备份前会判断数据是否发生变化,并仅记录每次变化情况,所以相较于其他两种备份方式它最大的好处在于其所需存储空间最少的(相同的变化情况下),备份速度最快的。当然在数据还原上来说,它的恢复时间是最长的,效率较低。恢复数据时,需要在第一次完备的基础上,整合每次的一个变化情况。

通过Kettle实现全量同步

步骤一:创建两个数据库,分别为资源数据库a和目标数据库b

在这里插入图片描述

步骤二:新建作业JOB

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值