Aurora Serverless Data API构建

Aurora Serverless Data API构建

关键字: [yt, Amazon Aurora Serverless, Relational Databases, Serverless Computing, Amazon Aurora, Data Processing Solutions, Scalable Architectures, Automatic Capacity Scaling, Cost-Effective Databases, Message Processing Applications, Data Streaming Solutions, Cloud-Native Event Processing]

本文字数: 1700, 阅读完需: 8 分钟

导读

在一场亚马逊云科技技术讲座中,演讲者介绍了”利用Amazon Aurora Serverless Data API和Amazon SNS构建应用程序”。演讲者阐述了如何借助Amazon Aurora Serverless和Amazon SNS构建无服务器应用程序。具体而言,Aurora Serverless能够自动扩展数据库计算能力,而Data API则使短暂的函数能够访问Aurora Serverless。该演示重点介绍了Aurora Serverless如何为关系数据库工作负载提供灵活性、经济性、性能和可扩展性以及安全性,并演示了一个利用Aurora Serverless、Lambda、SNS和其他亚马逊云科技服务实时监控疫苗等候时间的应用程序。

演讲精华

以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。

在其全面的技术讲座中,Vladlas Channel深入探讨了使用Amazon Aurora Serverless Data API和Amazon SNS构建应用程序的复杂性,尤其着重于演示如何在无服务器计算模型中与关系数据库协作。他强调了推动亚马逊云科技客户成功的四大核心原则:敏捷性、成本效益、性能和可扩展性以及安全性,并阐明无服务器计算模型独特地能够实现这些目标,因而导致了无服务器领域的增长。

亚马逊云科技Lambda是亚马逊云科技的无服务器计算产品,允许开发人员将应用程序设计为解耦函数,从而无需管理容器、服务器或虚拟机。Vladlas以可口可乐为例,无服务器战略使其能够在仅100天内就为其Freestyle饮料分配器构建了一款新的非接触式智能手机应用程序,迅速应对COVID-19疫情带来的变化。现在已有超过30,000台分配器具备了非接触式功能。由于他们使用了Lambda,他们的团队能够专注于应用程序本身,而无需担心安全性、延迟或可扩展性,因为Lambda内置了所有这些功能。

虽然许多客户将无服务器与Lambda联系在一起,但Vladlas强调无服务器服务存在于解决方案堆栈的各个层面,正是消息传递、编排、数据存储和计算的组合才能真正释放无服务器计算的优势。他指出,亚马逊云科技每月有数万亿次Lambda调用,突显了其采用规模。

为了解决将传统关系数据库扩展并集成到无服务器工作流程中的挑战,亚马逊云科技推出了Amazon Aurora,这是一种以开源价格提供企业级功能的云原生数据库,与其他亚马逊云科技服务一样完全托管。Aurora旨在提供与商业数据库相当或更好的性能和可用性,同时提供开源数据库的成本效益。

亚马逊云科技在Aurora中采取了重大创新,打破了传统数据库中存储和查询处理之间的紧密耦合。亚马逊云科技为Aurora开发了一种专门的日志结构化分布式存储服务,日志本身即是数据库。这种方法减少了数据库产生的I/O量。Aurora存储卷会随着数据的增长而自动扩展,随着数据的减少而自动缩减,跨越数十甚至数百个存储节点,始终保持六份数据副本,每个可用区域两份。这使得亚马逊云科技能够在任何给定时间点保护数据免受整个可用区域故障加上每条带区的额外存储节点故障的影响。除此之外,数据会持续自动流式传输到Amazon S3进行备份和时间点恢复,而不会影响数据库操作。

最初,Aurora以预配置模式提供,在可扩展存储层之上预配置了独立的计算容量。一个集群最多可以有16个数据库实例,其中一个实例始终担任写入器角色,所有实例都从同一个存储卷读取数据。

为了实现无缝计算扩展,Aurora推出了Aurora Serverless v1。在这种模式下,一个轻量级且高可用的请求路由器服务负责管理连接并将流量路由到处理数据库操作的单租户数据库实例。计算容量根据CPU负载和并发连接自动扩展,利用不同大小的计算实例的预热池。容量以ACU(Aurora Capacity Units)表示,1 ACU相当于Aurora提供的最小数据库实例大小,客户按每秒ACU小时付费。

在大多数故障场景下,亚马逊云科技可以从预热池中获取一个新的计算实例,让客户在几秒钟内恢复运行。然而,在极少数情况下,如果预热池暂时用尽,故障恢复可能需要几分钟时间,因为亚马逊云科技需要从头开始配置计算实例。

奥罗拉无服务器(Aurora Serverless)非常吸引那些希望简化架构并具有高可用负载模式的客户。例如,为教育和劳动力发展市场提供SaaS产品的Corestorm公司,其课程注册解决方案具有不规则的使用模式,而Aurora Serverless可帮助他们减少大量数据库维护和管理工作,同时提供快速简便的扩展能力。

目前处于预览阶段的Aurora Serverless v2旨在进一步提升容量扩展能力,以分之一秒的速度在更细粒度下提供容量扩展。它运行一个大型可扩展的计算容量机群,由先进的热管理算法支持,实现毫秒级别的上下扩展和更细粒度的容量调整,可以增加或减少一半ACU(Amazon Compute Unit)。在第一版中,扩展也可以进行更细粒度的容量调整,增加或减少一半ACU。这使得具有无服务器工作负载、分片数据库或多租户工作负载的客户可以依赖开箱即用的功能,在任何给定时间点获得运营和成本效率。

RDS数据API服务通过提供基于HTTPS的端点将无服务器关系数据库产品捆绑在一起,函数可以在该端点发出查询,查询通过连接池发送到数据库。这消除了在无服务器应用程序中使用庞大的MySQL或PostgreSQL客户端库和短暂数据库连接的需求,优化了无服务器工作负载的交互模型。然而,数据API的响应大小限制为1兆字节,不能支持通过本地MySQL或PostgreSQL客户端进行的全范围SQL交互。相反,它针对Lambda函数的优势进行了优化,例如处理小量离散数据或RESTful模式,而无需建立连接和复杂的会话上下文的开销。

为了说明这些概念的实际应用,Vladlas演示了一个无服务器应用程序,该应用程序近乎实时监控美国疫苗的等待时间。该应用程序利用Amazon SNS进行消息传递,诊所工作人员将患者入院和疫苗接种时间发送到SNS主题。Lambda函数使用Data API将这些数据持久化到数据库中,并从数据库中提取聚合统计数据,供托管在CloudFront和Amazon S3上的网站使用。对于网站使用,最终用户可以通过CloudFront和Amazon S3访问托管的网站。值得一提的是,所有这些服务都符合HIPAA资格,适合处理和存储个人健康信息,因此非常适合支持我们的用例。

在演示过程中,Vladlas展示了应用程序的实时数据更新,佛蒙特州的平均最高等待时间为66分钟,而爱达荷州在某一时刻的最低等待时间为8分钟。后来,明尼苏达州成为最繁忙的州,平均等待时间为51分钟,而阿拉巴马州的等待时间最快,为15分钟。他还演示了负载生成,负载生成器脚本最初每秒产生约160到200条消息,然后从两个负载生成器中每个增加到约400条消息/秒。

Vladlas通过亚马逊云科技Lambda、RDS和CloudWatch控制台监控解决方案,提供了对无服务器应用程序无缝扩展和监控的见解。他展示了Lambda函数调用率随着负载生成器脚本的增加而激增,以及Aurora Serverless集群从之前的无利用率扩展到消耗2个容量单位,然后在向数据库发送更多负载时激增到4个容量单位。CloudWatch仪表板提供了单一窗口,用于监控重要指标,包括容量单位、数据库连接、CPU利用率、消息速率以及数据库延迟和吞吐量。

弗拉德拉斯在结尾留下了一个挑战,让观众思考如何改进所展示的解决方案。他建议使用Amazon SQS或Amazon Kinesis Data Streams来缓冲和扩展插入的速率,可能会扩展到每秒数千条消息。他指出,如果以每秒1,000剂疫苗的速率,整个美国人口可以在不到四天内完成接种。另一个建议是使用Kinesis Data Analytics在实时数据流上计算聚合,并仅将这些聚合结果存储在数据库中,同时将单个疫苗记录写入Amazon S3,以便后续使用Amazon Athena进行查询。

总而言之,这场技术讲座全面概述了使用Amazon Aurora Serverless Data API和Amazon SNS构建无服务器应用程序,重点介绍了Aurora的创新、无服务器计算模型,以及整合各种亚马逊云科技服务来创建可扩展、经济高效和安全的数据处理解决方案。实际演示、可口可乐和Corestorm的客户案例以及性能指标进一步加强了这些概念在现实世界中的适用性和优势。

总结

亚马逊云科技正在通过其无服务器产品,尤其是Amazon Aurora Serverless和RDS Data API,彻底改变人们与关系数据库交互的方式。这种创新方法解决了客户所期望的敏捷性、成本效益、性能、可扩展性和安全性等核心原则。

Aurora Serverless V1引入了一个可扩展的计算层,能够根据工作负载需求无缝调整容量,从而消除了复杂的容量管理需求。在V2中,亚马逊云科技将这一步骤进一步推进,实现了毫秒级的近乎即时扩展和更精细的容量调整,带来更大的成本节约和运营效率提升。

RDS Data API通过提供基于HTTPS的端点来发出查询,优化了无服务器应用程序(如亚马逊云科技Lambda函数)的性能。这消除了对庞大的数据库客户端库和短暂连接的需求,实现了与无服务器架构的无缝集成。

在一个真实的演示中,我们见证了一个无服务器应用程序利用Aurora Serverless、RDS Data API和其他亚马逊云科技服务(如SNS和Lambda),监控全美疫苗等候时间。该解决方案展示了无服务器计算的强大功能,可轻松扩展以每秒处理数千条消息,同时提供实时数据更新。

展望未来,亚马逊云科技将继续在无服务器领域进行创新,让客户能够构建可扩展、高性价比和安全的应用程序,而无需承担管理基础设施的负担。通过采用Aurora Serverless和RDS Data API等无服务器技术,组织可以专注于交付价值并加速数字化转型之旅。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。