【直击DTCC】看阿里海量数据迁移同步核心架构

gaokeke

于 2016-05-14 22:44:01 发布

阅读量139

点赞数

2016年5月12日-14日，第七届中国数据库技术大会(DTCC 2016)在北京国际会议中心拉开帷幕。作为国内数据库与大数据领域最大规模的技术盛宴，在为期三天的会议中，大会将围绕MySQL、NoSQL、Oracle、缓存技术、云端数据库、智能数据平台、大数据安全、数据治理、大数据和开源、大数据创业、大数据深度学习等领域的前瞻性热点话题与技术展开深入探讨，并邀请一大批国内顶尖的技术专家来进行分享，以满足广大从业人士和行业用户的迫切需要。

本届是大会创办以来，规模最大，参会人次、参展合作伙伴最多的一次盛会，云集了来自五湖四海的5000余名IT精英，相聚在这里，共话数据库技术发展潮流，共赴大数据浪潮之巅。今天下午，我们来到了“数据库性能优化”专场，阿里巴巴数据库团队技术专家付大超进行了题为《阿里海量数据迁移同步核心架构及最佳实践》主题演讲。

嘉宾介绍：付大超(花名：千震)，阿里巴巴数据库团队技术专家、DTS团队负责人。2012年加入阿里巴巴，目前负责DTS团队研发工作，曾负责阿里HBase的开发及维护工作，开发了阿里HBase集群高用性系统，曾先后实习及工作于IBM、Cisco、淘宝。

海量数据迁移痛点多

上云难，云难上，难上云是目前海量数据迁移的最大痛点。据付大超介绍，主要痛点如下：停机迁移，系统上云需要应用停服数小时，甚至数天;网络抖动性不可控，一旦迁移失败只能重头再来;迁移正确性，全人肉验证，可靠性低;数据单地区存储，一旦出现数据节点故障，应用服务完全瘫痪，故障恢复时间长达数小时。

因此，用户在上云、用云过程中，遇到了停机迁移、单点故障、跨地区访问、消息通知等诸多难点，DTS提供的热迁移、变更数据分发及数据实时同步功能，帮助用户轻松解决所有问题。

不仅如此，以阿里内部为例，也遇到过很多典型的业务挑战，据付大超介绍：一键建站(要求一键完成PB级核心数据数天内从一个数据中心到1500公里外的另一个数据中心的迁移，并完成业务的无缝切换确保无任何数据丢失。);异地多活(阿里最新的数据架构中要求一个核心的数据中心全部挂掉不影响双11业务的正常运行。事务强一致，低延迟，高可用);异构(要求支持多种数据存储产品);中美秒级同步(中美网络延时200ms, 要求秒级同步);增量订阅服务(要求MySQL、OceanBase、SQLServer、Oracle、HBase提供增量数据，供各类业务及大数据处理)。

DTS介绍

数据传输服务(Data Transmission Service,简称DTS) 支持以数据库为核心的结构化存储产品之间的数据传输，它是一种集数据迁移、数据订阅及实时同步于一体的数据传输服务。可以使用DTS轻松构建安全、可扩展、高可用的数据架构。

四大特点--丰富多样：支持同异构数据源之间的迁移同步支持全量增量多种传输方式，增量迁移可以实现应用无缝切换。

高性能：全量迁移性能高达70MB/s,实时传输性能高达30000TPS.

安全可靠：任意一个服务节点发生故障，秒级恢复安全传输协议，模块之间token认证链路可靠性高达99.95%.

简单易用：支持断点续传，任务中断可以断点续传可视化管理界面，任务状态透明链路即开即用，链路规格动态伸缩。

DTS功能介绍

数据迁移：支持多种数据存储产品，如Oracle、MySQL、SQLServer、PostgreSQL、PPAS、MongoDB、OceanBase等;支持异构数据源之间的结构对象及数据迁移，例如Oracle->MySQL、Oracle->PPAS;支持增量数据迁移，应用可以使用增量迁移实现应用无缝切换到目标RDS实例上;支持库表列三级映射、数据过滤等多种传输数据加工特性。

实时同步：支持多种数据存储产品之间的实时同步;支持动态修改同步对象、修改同步速度等多种操作，充分满足业务需求。

数据订阅：支持RDS多数据存储产品的增量数据实时订阅;支持在线查看增量数据、订阅时间回退、修改订阅对象等多种操作，充分满足业务需求。

完善的监控体系：DTS展示同步速度、同步延迟等多种性能监控视图;可以对订阅状态、订阅消费延迟、同步延迟等设置阈值报警。

DTS架构分享

DTS结构迁移

DTS全量迁移

DTS增量&同步技术实现

DTS可用性

升级：目前portal、API升级对于用户无感知，因为Portal和API各有两台机器。目前Master、Node升级对于已经运行的任务不影响，可能会影响即将启动的任务，但时间非常短，可以视作对于用户无感知。目前预检查、结构迁移、全量迁移、增量迁移升级对于已经运行的任务不影响，也不会影响即将运行的任务，时间非常短，可以视作对于用户无感知。

任务级别：所有模块(预检查、结构迁移、全量迁移、增量迁移、Store、Congo)的单个任务会自动容灾。

主机级别：主机宕机后，上面的任务会自动容灾。

监控：对失败的任务进行报警。

DTS容灾