数据库跨云备份和异地多活解决方案.PDF
数据库跨云备份和异地多活解决方案
数据库跨云备份和异地多活解决方案是一种高效、可靠、灵活、可控的数
据库跨云解决方案 ,为客户提供数据库同城或异地多活、跨云备份的多云以及跨
云的容灾备份能力,做到跨数据中心、跨云、跨地域级的数据库灾备与多活。
对于企业的核心资产数据库而言,能够满足客户多云并存、混合治理的需求,
实现"多云备份,云上容灾"的数据多重高可用,有效提高企业业务连续性,保障
关键数据安全可靠。
极数云舟提供的跨云备份和异地多活解决方案的架构图如下:
注:当前成熟的解决方案源端仅支持 MySQL,其它 RDBMS 源端正在内测
中。
跨云备份
随着云服务的高速发展,企业考虑到基础建设和运维 团建的成本,企业开
始大量使用各种云服务来满足企业发展的技术需求,不仅可降低成本又可快速搭
建出合理的 IT 架构。但是不管 自建机房还是部署云服务,对于业务而言其稳定
性、可靠性和连续性依然是重中之重。
在各大主流云厂商接二连三出现大规模故障导致数据不可访问的事故后,
跨云备份、跨云多活的需求日益迫切。对于企业的核心资产数据库而言,客户希
望数据能够多云并存、混合治理。
面对当前单云容灾的备份无法快速在自建机房或其它云厂商快速恢复,搭
建备库也存在各种受限(例如主从故障切换不透明、同步所需的日志文件被随意
清理等)的问题,需要构建额外的数据同步传输服务来进行跨云间的数据同步和
备份。
考虑到云服务的封闭性和对业务的零侵入性,数据同步传输工具必须要感
知到云服务的高可用切换和支持断点续传,同时需要对源端和目的端业务零侵入,
给予数据库账号授权即可实现跨云备份。
数据库实时异构同步组件架构图如下:
数据库实时同步组件由 Argate 、DC(数据中心)、Adater 三部分组成,三
者部署在同一台服务器 (例如ECS)上。数据库实时同步组件的核心原理是结合
了 MySQL 多源复制和并行复制的优点,加入了自主控制的算法,通过实时订阅
Big Evets 并把它解析转换为 JSON 格式的数据,通过并行 HASH 分发、存储
到 DC 数据中心(MySQL 数据库) 。Adater 系统从数据中心将 JSON 格式的数据
读取出来,并行存储到目标数据库中。整个数据的传输过程都是多线程并发处理,
保证数据同步的实时性。
数据传输过程中并不关注源端、目的端是云上还是云下及是否跨云、跨 IDC、
跨地域。只要网络互通,在中控机或 ECS 部署数据库实时同步组件后,在源端、
目的端数据库授予相应的访问权限即可做到跨云间的数据传输和实时备份。
对于多云多活的企业客户,可以自由的在云间进行数据传输和数据治理。
对于跨云备份和数据治理而言,随着数据库、大数据的普遍应用,对于数据
的同步需求也不断增多,常见的同步需求有:
1.从多个数据看同步数据到一个数据看中,做分库分表之后的数据汇总
2.从 RDBMS 同步数据到 HBase 或者 ES 等 OLAP 类型的存储引擎中
3.从 RDBMS 同步数据到 Redis 等缓存引擎中
4.从一种结构的 RDBMS 表结构同步数据到另外一种 RDBMS 的表结构中
5.所有的数据同步时效性要求高,需要实时或者准实时的同步
Adater 程序内嵌丰富的数据同步策略和过滤规则,可以根据目的端数据
库类型进行程序定制化,目前已内置 HBase、ES、MySQL、Kaffa、TiDB 等
Adater 程序,即支持 RDBMS 的数据同步到 HBase、ES、MySQL、Kaffa、
TiDB 目标异构数据库。
如下是某客户的跨云数据传输同步方案