mysql和odps数据同步_如何同步RDS数据库中的数据到ODPS上

展开全部

用户在购买完RDS后，接下62616964757a686964616fe4b893e5b19e31333363393662来就可以开始往RDS迁入数据了。在RDS刚刚对外提供服务的时候，用户只能通过将自己的数据库dump成为sql文件，然后再将sql文件source到RDS中去：数据迁移至RDS-MySQL之使用MySQLdump工具，数据迁移至RDS-SQLserver之利用SQL Server客户端工具，这两种方法是最简单的方法，但是局限性也非常的多：

.用户的数据库太大了，逻辑sql导入的方式速度太慢了，严重影响停机时间；

.在导入的过程中报错很多，或者导入一半的过程中中断了，需要重新来过；

.在迁入RDS过程中，希望我的数据库还能能正常提供服务；

大量的用户入云全部堵在迁移数据上面，用户与RDS的缘分就差么这临门一脚。工欲善必先利其器，为了更好的帮助用户入云,RDS对现有的用户入云迁移方式进行改进，帮助用户快速稳定迁移入云，分别为用户提供了mysql和sqlserver两套改良迁移工具:

.mysql迁移工具支持在线迁移，用户可以不中断业务的情况下把数据迁移到RDS中来;

.sqlserver的迁移工具采用物理备份的方法，将用户的物理备份上传到FTP中后还原到RDS，提升迁移的速度;

这两套工具目前都已经集成到了RDS的控制台中，可以参考：数据迁移至RDS-MySQL之使用阿里云控制台和 数据迁移至RDS-SQLserveru阿里云控制台.

很多用户在控制台上看到的只是一个黑盒子，在工单中多次咨询迁移的原理，在这里大致讲一下这两个工具的迁移实现：

Mysql在线迁移的原理：

第一步:预检查，主要是验证用户网络的通畅性，账号和环境的检查；

第二步:全量备份，该步骤会把用户的数据全量的dump出一份出来，然后还原到RDS；

第三步:增量迁移，该步骤会解析用户全量期间以及后续产生的binlog应用到RDS；

第四步:切换，当RDS的数据完全追上用户的数据库后，用户就可以开始进行切换了；