解读数据传输DTS技术架构及最佳实践

摘要：在阿里云数据库技术峰会上，阿里巴巴高级技术专家付大超(千震)针对于云计算时代最好的数据传输产品阿里云DTS的架构设计、基本原理以及相关的应用场景进行了精彩分享。帮助大家了解了阿里是如何实现异地多活和异构多活的，以及通过DTS轻松实现迁移、双同同步、容灾、订阅的真实案例。

       8月24日，阿里云数据库技术峰会到来，本次技术峰会邀请到了阿里集团和阿里云数据库老司机们，为大家分享了一线数据库实践经验和技术干货。在本次峰会上，阿里巴巴高级技术专家付大超(千震)针对于云计算时代最好的数据传输产品阿里云DTS的架构设计、基本原理以及相关的应用场景进行了精彩分享。帮助大家了解了阿里是如何实现异地多活和异构多活的，以及通过DTS轻松实现迁移、双同同步、容灾、订阅的真实案例。

以下内容根据演讲嘉宾现场视频以及PPT整理而成。

本次分享的内容主要围绕以下四个部分：

一、DTS技术架构

二、DTS异地&异构多活架构

三、DTS应用案例

四、最佳实践

一、DTS技术架构

DTS产生的背景

       大家下午好，如下图中左侧所示的是几年之前的支付宝发布的一条微博信息，这条微博主要表达的是因为当时杭州的温度很高，导致当时的用电压力比较大，而为了保证居民的正常用电，甚至连阿里巴巴的机房也因此受到限电。而这样的限电却可能会对于阿里的服务、支付宝的服务甚至是阿里云的服务造成影响。在几年之前，阿里巴巴就在思考将服务搬到另外一个地方去，这样即使杭州出现了一些像机房全部断电这样由于不可控因素产生无法提供服务的情况，阿里也依旧能够为全球的用户提供在线服务。所以为了实现上述目标，阿里逐渐开始实现异地多活的场景。

       上图中右侧所展示的是中国人民银行对于数据中心出现的问题的数据统计。可以看出数据中心所出现的问题种类还是比较多的，其中比较典型的就是主机故障、电源故障等。总而言之，就是数据中心会出现各种各样的异常情况导致服务中断。在本质上来说，这样的异常情况是不可以避免的，阿里巴巴在思考该如何解决这些问题的时候就想到了可以通过将数据中心做成异地甚至是全球的架构，这样就可以尽可能地避免因为异常情况导致的服务不可用。比如在双11场景之下，当某一个机房挂掉了，业务也并不会受到影响。为了实现这样的目标，也就产生了DTS这款产品。

DTS简介

       后来发现阿里云也存在着与阿里巴巴同样的需求，因为很多用户需要将自己的数据迁移到阿里云上来去构建自己的数据架构，这时候也会遇到同样的问题。于是DTS这款产品逐渐地从内部开放到外部，开始对外提供服务。所以在今天，阿里云的外部客户能够享受到与阿里内部一样的基础设施和服务。

       目前，DTS产品有这样的几个功能，典型的就是用户上云时需要进行数据迁移，帮助用户将本地机房的数据迁移到阿里云的其他数据库或者用户在ECS上自建的数据库上去。总而言之，DTS产品的目标就是打通整个数据链路。之前的数据在每个产品中，这样相当于是数据孤岛，而通过DTS产品能够消除数据孤岛，将数据链路完全打通，驱动数据自由地流动。除此之外，DTS的功能还有实现长期的数据同步，这一点与数据迁移不同，在长期的数据同步过程中必定会对于可用性、性能以及安全性提出更高的要求，而DTS能够提供长期的数据同步能力。DTS的第三个功能就是实现数据订阅，一些用户在阿里云上拥有很多的数据库，而用户想要将RDS的增量数据订阅回去，更加灵活地构建自己的数据架构。DTS还提供了一点功能就是文件迁移，可以将像SQL以及CSV等以文件的形式导过来。

       通过上述的功能，DTS就能够在应用场景下提供更强大的服务能力。阿里云上的数据库都能够支持DTS，而用户在ECS上自建的数据库以及用户在本地IDC上自建的数据库，包括MySQL、Oracle、SQL Server、PG、MongoDB以及Redis都是能够支持DTS的，而且相对比较特别的是DTS还能够支持增量的能力。而就目前而言，能够支持Oracle、SQL Server、Redis的增量能力的云产品只有DTS能够做到。

DTS发展历史

       DTS的发展经历了很多个阶段，其发展成熟的过程也经历了一定的演变。在今天，DTS能够支持双11这样的场景，其背后是一步一个脚印走下来的，所以每年也都会逐步地实现新的特性。在2012年的时候，DTS就实现了异地冷备；在2013年，实现了同城双活；在2014年实现了异地多活；在2015年的时候，支付宝和天猫国际都开始了全球化的步伐，而这些交易数据是需要进行全球同步的，因为中美之间的链路足够长，所以DTS也实现了中美同步，解决了在上万公里的天然网络延迟的情况下的延时问题以及网络传输的优化问题；最后，在2016年DTS实现了异构双活，也就是实现了两个异构的数据库比如从Oracle到MySQL或从MySQL到OceanBase这样异构场景的双向多活。

DTS架构设计