亚马逊云科技AmazonAurora全球容灾架构与创新功能实践

关键字: [亚马逊云科技中国峰会2024, Aurora, Aurora全球容灾架构, 数据库高可用性, 跨区域复制延迟, 灾备成本优化, 全球写入转发]

本文字数: 2600, 阅读完需: 13 分钟

导读

在亚马逊云科技中国峰会2024上,陈阳演讲了”AmazonAurora全球容灾架构与创新功能实践”。他介绍了Aurora全球容灾架构的技术细节,包括3个可用区6副本架构、跨区域复制延迟小于1秒、支持计划内和故障切换等。他还分享了Aurora的最新创新功能,如Limitless Database、Zero ETL、支持向量数据库等。王志鹏分享了汉商科技将数据库从自建MySQL集群迁移到Aurora Serverless的实践,获得了成本降低80%、运维工作减少、升级部署简化等收益。演讲重点阐述了Aurora如何通过创新架构和功能,为企业提供高可用、高性能、低成本的云上数据库解决方案。

演讲精华

以下是小编为您整理的本次演讲的精华，共2300字，阅读时间大约是12分钟。

大家好,我是亚马逊云科技数据库架构师陈阳。接下来,我将分享关于Amazon Aurora全球容灾架构与创新功能的实践。我们的分享将分为三个部分:首先,我将介绍Aurora全球容灾架构的整体技术架构以及最新的一些新特性;其次,来自汉商科技的研发经理王志鹏将分享Aurora在汉商科技的应用实践;最后,基于这些新特性,我们将探讨汉商科技对未来数据库架构的优化及展望。

通常,人们会问为什么亚马逊云科技在推出RDS之后还要推出Aurora。对此,我一般会举一个熊掌和鱼的例子。熊掌代表商业数据库,它厚实且能够顶住压力,但成本昂贵且难以获取。鱼则代表开源数据库,简单易得但扩展性和性能无法满足需求。因此,Aurora作为一款全托管的云原生数据库应运而生,它兼具商业数据库的强大性能,同时提供了低成本的优势。

Aurora数据库底层采用3个可用区6副本的架构,可以天然抵御可用区级别的故障。当整个可用区发生故障时,数据丢失为0,且能够抵御可用区+1级别的可读可连续性故障。这里有两个关键点:为什么是6副本而不是3副本?什么是可用区+1的故障抵御?

我们带着这两个问题继续往下看。Aurora数据库底层是一个共享的分布式存储,横跨三个可用区。在上层,我们有计算实例,应用程序可以通过这些节点进行读写操作。写入数据时,底层会将其打散成小的存储单元,分布在3个可用区中,并保存6个副本。底层会有一系列校验机制,如果发现任何一个副本异常,会自动补齐所有副本。

我们还可以搭建只读节点,这一点与传统MySQL有着显著区别。对于MySQL,如果要搭建从库,需要复制一遍数据,如果数据量很大,这个过程会非常漫长。但对于Aurora,底层是共享存储,因此无论数据量有多大,搭建只读节点都是非常快速的。另外,Aurora的主节点和从节点之间是基于Redo的物理复制,相比MySQL的Binlog复制,性能有了极大提升。Aurora最多可支持15个只读节点,且可以是不同类型,如Serverless或x86/ARM实例,满足不同业务工作负载的需求。

如果整个可用区发生不可用,会发生什么情况?首先,底层的高可用探知组件会发现故障异常,然后将一个从节点提升为主节点。域名解析Route 53会将Endpoint指向新的主节点,应用程序可在30秒内恢复正常。由于我们采用6副本架构,并且写入时遵循Quorum协议(6写4成功),因此在整个可用区发生故障时,数据也不会丢失。

为什么需要6个副本来实现可用区+1级别的故障抵御?虽然可用区级别故障罕见,但一旦发生,恢复时间可能较长。在这期间,如果另一个副本发生故障,读请求仍不受影响,写请求会等待新副本自动拉齐后恢复,由于副本拆分较小,这个过程很快。亚马逊云科技的Global Database Caching可以进一步简化故障感知时间。

假设整个Region中的3个可用区全部Down掉,虽然这种情况极为罕见,但我们在架构设计时仍需预防。这时,Aurora全球数据库可以帮助我们应对。当在控制台搭建辅助Region时,底层会自动在辅助区域拉起新的存储集群及相关复制组件,将存量和增量数据同步到辅助区域,增量数据通过Redo日志物理复制。辅助Region搭建完成后,可作为灾备备选节点,我们还可以在其中搭建只读节点,用于就近读取,提高响应时间。由于基于Redo物理复制和亚马逊全球骨干网,全球复制延迟通常小于1秒。

当全球数据库搭建完成后,我们支持两种切换模式。第一种是计划内切换,用于灾难演练或跨Region数据迁移,可以保证数据零丢失,底层会自动校验数据同步一致性,将辅助节点提升为主节点,并将旧主Region变为新辅助Region,通常在1分钟内完成。第二种是故障切换模式,当整个Region全部Down掉时,由于跨Region复制是异步的,我们不得不容忍复制延迟内的数据丢失,通常在1秒内。此时可将辅助Region提升为主Region,作为可读写Region,旧主Region恢复后可重新作为辅助Region。

为了进一步优化成本,我们可以在辅助Region搭建不同规格的集群,如Serverless或Data-less架构,只在需要时拉齐计算实例,极大降低辅助Region的成本。我们还支持全球写入转发特性,对从Region的写入请求会自动转发到主Region,简化应用架构,无需区分主从进行读写分离。同时,我们支持三种不同的事务一致性隔离级别,在响应时间和一致性读之间作出权衡。

总结一下Aurora全球数据库的几大要点:它可帮助构建全球级容灾和就近读访问,提升性能;当提升辅助Region为主Region时,通常可在1分钟内完成;跨Region复制延迟通常小于1秒;可在辅助Region搭建不同规格集群优化成本;支持全球写入转发简化架构;支持三种事务一致性隔离级别,在响应时间和数据一致性间作出权衡。Aurora全球数据库为我们提供了全球级容灾、高可用、高性能、低成本的一整套解决方案,使我们能够构建更加健壮、灵活的云上数据库架构。

接下来,有请汉商科技的王志鹏老师为我们讲解在实际应用中的实践。

亚马逊是一家持续创新的公司,无论是全球数据库还是各种新特性,我们都在不断提升用户体验。在最近一年内,亚马逊推出了一些值得关注的新特性,我将简单介绍一下。

第一个新特性是Limitless Database,它是一个全托管的可垂直及水平自动伸缩的分布式架构数据库。它通过全托管底层特性帮助解决了分布式数据库常见的许多问题,如通过Serverless节点自动应对资源垂直伸缩,通过Aurora快速克隆技术帮助水平Resharding时快速数据迁移。另外,它提供了精度高达微秒级的物理时钟,进一步加速整体性能。所有这些特性都集成在内部自动化原理中,对用户而言,只需单个Endpoint接入即可享受Limitless Database带来的便利。

第二个新特性是Zero ETL,通过底层数据直接转换和基于增强Binlog的持续同步,让我们能够将数据库数据准实时同步到数据仓库,无需构建复杂的ETL任务,只需一键即可完成。

第三个新特性是在PostgreSQL上支持了向量数据库的能力。

第四个新特性是推出了IO Optimized新机型,在写密集型工作负载场景下,可提升性能且节省成本。

除此之外,我们还有增强Binlog、优化器改进、本地写入转发等功能,持续加强用户在使用Aurora上的核心体验。

接下来,让我们看一下Aurora Serverless数据库在汉商科技的应用与实践。

大家好,我是王志鹏,来自汉商科技。接下来我将分享一下Aurora Serverless数据库在汉商科技的应用与实践,希望对大家有所启发。

首先简单介绍一下汉商科技。汉商成立于1998年,总部位于南京,专注为全球客户提供一站式音视频设备和智能硬件解决方案,服务涵盖产品设计、研发、制造全流程。凭借20多年行业经验和先进技术,我们已赢得近百家知名品牌客户的信赖与合作。随着发展,我们在全球各地设立了多个研发中心、运营中心和制造工厂,可以说汉商是一家全球化公司。

汉商的发展可分为三个阶段:数字时代、连接时代和智能物联网时代。数字时代,我们主要研发传统音视频产品,如高保真HIFI和家庭影院设备,奠定了品牌基础。连接时代,我们开始研发无线音频和智能音箱产品,是国内首家Apple AirPlay方案提供者,并通过了包括Google Cast和亚马逊Alexa在内的一系列认证。智能物联网时代,我们将传统硬件设备逐步上云,打造一系列云服务平台,赋能硬件产品。

随着传统设备上云,对数据库系统也提出了新需求和挑战。我们需要一个能够支撑海量用户和大量设备、实时存储和管理信息的系统,在面对大规模请求时能保证稳定性、响应即时性和高可用性,同时还有对业务数据的分析需求。最初我们采用自建MySQL集群方案,但随着业务量不断增长,这种方案带来了高昂成本、繁重运维工作和可靠性不足等痛点。

经过对主流数据库服务的调研测试对比,我们发现Aurora Serverless数据库可以较好解决这些问题,于是对架构进行了调整,将数据库服务换成了Aurora Serverless数据库,这一调整为我们带来了巨大收益。

首先是成本方面的收益。我们的IoT产品业务请求流量波动很大,如果按传统方式为可能的最高峰值预留资源,在大多数时候资源就会处于闲置浪费状态,对整体成本是一个巨大挑战。使用Aurora Serverless数据库后,它可根据负载自动调整资源大小,在请求流量较小时将资源和成本保持在较低水平,在高峰期则自动增加资源,保证性能不受影响。我们不再需要为预置资源支付高昂费用,数据库整体成本直接降低了80%。值得一提的是,我们使用的是Aurora Serverless V2版本,在弹性扩缩容时可以以0.5 ACU的更细粒度进行调整,极大提高了资金使用效率。这一成本收益不仅是我们的,我们的客户现在也可以以更低成本进行测试和PoC验证工作。

其次是运维方面的收益。使用Aurora Serverless数据库后,我们基本上处于自动化运维状态,不再像之前那样花费大量时间在数据库运维工作上,这解放了运维人员,让他们可以去做更有意义的事情。Aurora Serverless数据库对我们的数据库升级和部署流程也带来了极大优化。由于我们的数据库数量级较大,如果采用传统的原地升级方案,可能会面临较长时间的停机,这对我们的业务是不可接受的。通过引入蓝绿部署功能,我们可以基于当前生产环境准备和复制出一个暂存环境,而不影响生产环境,整个升级过程从30分钟缩短到1分钟,且降低了升级风险,对应用程序也是透明无感知的。

此外,我们还启用了PITR功能。过去如果出现误删数据等意外情况,我们需要花费较长时间进行手动数据恢复操作,这个过程繁琐且容易出错。现在有了PITR,我们可以在极短时间内,基本上几分钟,就将数据库恢复到指定时间点的状态,且支持到秒级别,极大提升了处理此类意外情况的效率和信心。

通过使用Aurora Serverless数据库,汉商科技在成本、运维、升级和数据恢复等方面获得了极大收益,有力支撑了我们的业务发展需求。Aurora不仅解决了我们的实际痛点,更为我们的未来发展注入了新的动力。

下面是一些演讲现场的精彩瞬间：

演讲者正在介绍演讲的结构,分为三个主要部分。

亚马逊云科技中国峰会2024:Aurora数据库引擎支持快速搭建多达15个不同类型的只读节点,满足各种业务需求。

亚马逊云科技中国峰会2024:当主Region发生故障时,可以将辅助Region提升为主Region,从而实现读写操作,并在旧主Region恢复后将其重新设置为新的辅助Region。

亚马逊云科技推出了在辅助区域搭建不同规格数据库集群的方案,包括无服务器类型和Data-less架构,以极大程度降低成本,同时满足灾备需求。

随着传统设备逐步上云,亚马逊云科技提出了一种能够支撑海量用户和大量设备、保证系统稳定性和响应即时性、高可用性以及数据分析需求的数据库解决方案。

通过使用 Aurora Serverless 数据库,亚马逊云科技帮助客户根本性地解决了因业务流量波动而导致的资源浪费和高成本问题。

亚马逊云科技中国峰会2024上,演讲者介绍了新的数据恢复功能,可以快速高效地恢复意外删除的数据,大大简化了数据恢复流程。

总结

亚马逊云科技数据库架构师陈阳分享了Aurora全球容灾架构的技术细节和创新功能。Aurora底层采用3个可用区6副本的架构,可抵御可用区级别故障,并实现数据零丢失。通过全球数据库功能,可构建全球级容灾和就近读访问,提升性能。跨区域复制延迟通常小于1秒,支持计划内和故障时的切换模式。在辅助区域可搭建不同规格的集群,如无服务器或数据分离架构,优化成本。全球写转发特性可简化应用架构,无需区分主从区域进行读写分离。Aurora还推出了诸如Limitless Database、Zero ETL、向量数据库等创新功能,持续提升用户体验。

汉商科技的王志鹏分享了Aurora Serverless在其公司的应用实践。Aurora Serverless通过弹性伸缩,降低了数据库成本80%,提高了资金使用效率。自动化运维减少了运维工时,蓝绿部署和PITR功能优化了升级和数据恢复流程。Aurora Serverless全面满足了汉商科技海量用户、高可用性、数据分析等需求,为其业务发展提供了强有力的数据库支持。

2024年5月29日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。