mysql dts 同步_使用DTS同步MySQL增量数据到Tablestore-阿里云开发者社区

摘要

从MySQL到Tablestore的全量数据导出可以参考同系列文章《数据同步-从MySQL到Tablestore》，本文主要介绍将MySQL的增量数据同步到Tablestore的一种方式——使用阿里集团的数据传输服务DTS的数据订阅功能做增量数据的读取以及改写。

注意：DTS数据订阅服务支持多种数据库环境，老版现不支持MySQL8.0，使用sdk进行消费；新版新增了分组消费概念，需要使用Kafka客户端消费订阅数据。本文以RDS(MySQL 5.7)订阅为例，使用sdk完成增量数据订阅与改写。

原理介绍

导出步骤

1.源、目的数据库资源

源数据库：

RDS(新建实例)/实例[pingsheng]/数据库[pingstest]/表[to_tablestore]

数据表结构如图

目的数据库：

Tablestore(新建实例)/实例[pingsheng]/表[from_rds]

数据表结构如图