SQL Server 云下数据增量同步至阿里云 RDS for SQL Server

近期有一个需求，将云下 SQL Server 的数据同步至云上 RDS for SQL Server。不考虑增量的话，可以直接使用 SSMS 数据库导出功能直接迁移数据到 RDS，但如果要进行增量同步的话则无法直接使用，尤

其是还要做数据过滤的场景。

那该如何解呢？可以使用 kettle 工作来做增量的插入、更新及删除，以达到增量同步的效果。具体操作步骤参考如下：

1. 前期准备

安装 Java 及配置 JAVA_HOME

安装 Kettle

2. 配置源数据库

新建转换。新建一个转换任务，“文件”-->“新建”-->“转换”

新建表输入。在“核心对象”-->“输入”-->“表输入”,将“表输入”图标直接拖拽到右侧区域

配置表输入。双击“表输入”图标，进入配置界面，步骤名称默认即可，数据连接就是选择你的源数据库，这里没有进行过配置，所以点击“新建”进行 SQL Server 源数据库连接配置

配置数据库连接。按照向导进行数据连接配置。

选择源表。点击“获取SQL查询语句”，在弹出的窗口中选择要进行数据传输的table，点击“确定”即可完成“表输入”配置。

3. 配置字段选择

新建“字段选择”。在模块化区选择“转换”-->“字段选择”，双击字段选择即可建立连接。

配置字段。双击“字段选择”图标打开配置界面。

4. 配置目标数据库

新建“插入/更新”。双击“输出”--“插入/更新”建立连接。

配置“插入/更新”。

双击“插入/更新“图标，新建目标数据库连接，并按照向导完成配置。

5. 测试运行

当然，每次同步数据量大的话会花费很长时间，可以使用时间戳来进行过滤，选取最近变更的记录，减少 kettle 读取的记录数，降低同步时间。

至于 delete 操作的同步，可以使用记录标记来解决。kettle 也提供的删除步骤，有兴趣的可以自己研究一下。