亚马逊云科技助力企业构建云原生数据架构

关键字: [亚马逊云科技中国峰会2024, DynamoDB, 云原生数据库架构, 业务需求驱动, 数据库多样化, 专门构建数据库, 全球化数据访问]

本文字数: 1300, 阅读完需: 6 分钟

导读

在这场演讲中,演讲者分享了云原生数据库架构设计的最佳实践。他解释了随着业务规模的爆发式增长,单一的关系型数据库已经无法满足需求,需要专门构建不同类型的数据库来支撑不同的业务场景。他介绍了亚马逊如何利用多种数据库产品如DynamoDB、DocumentDB、Redis等来支持其庞大的电商业务,并强调亚马逊云科技的全球化基础架构能够让数据库在全球任意地点快速访问和推送数据,为全球业务发展提供支持。演讲重点关注了亚马逊云科技如何通过提供多样化的数据库选择和强大的网络能力,助力企业构建云原生数据库架构,实现数据的高效存储、查询和分析。

演讲精华

以下是小编为您整理的本次演讲的精华，共1000字，阅读时间大约是5分钟。

在这场精彩的演讲中,演讲者从自身18年数据库管理员的经验出发,分享了关于云原生数据库架构设计的宝贵见解。他首先强调,数据库选型应该由业务需求来驱动,而不应被固有观念所限制。

演讲者以亚马逊电商网站为例,指出仅依赖单一的关系型数据库如MySQL是无法满足这种大规模、高并发的需求的。他列举了一些令人震惊的数据:截至2024年,亚马逊拥有960万个卖家用户、超过2亿的会员用户、数据总量3个亿、每月25亿次的网站访问量、每小时1700万美元的销售记录,年销售额高达4722亿美元。面对如此庞大的访问量和数据量,MySQL等单一数据库已无法胜任。

因此,亚马逊采取了数据库专门构建的策略。它们使用ElasticSearch进行产品搜索索引优化存储,使用DynamoDB作为键值数据库存储购物车和客户评价,部分客户还使用DynamoDB加速器DAX提高性能,以及内存数据库MemoryDB加速访问,使用图数据库为推荐系统服务。这种多种数据库共同服务的架构,充分发挥了不同数据库的长处,更好地满足了不同业务场景的需求。演讲者指出,现代数据库应该是整个数据战略的一部分,而不应只局限于SQL数据库。

关系型数据库仍有其存在的价值,但对于一些键值数据等,使用专门构建的数据库如DynamoDB会更合适。最终,数据会流向数据湖、数据仓库等,配合BI、AI等工具进行分析和展现。亚马逊云科技提供了诸如Glue用于数据抓取和数据质量管理、Redshift数据仓库产品对接所有亚马逊云科技数据源、EMR大数据分析、QuickSight BI展现等产品,可以很好地支持这一数据分析流程。

演讲者分享了一个亚马逊内容电商客户的案例。该客户的QPS高达1.5个亿,他们通过使用8000个EC2实例,每个实例上运行4-6个Docker容器来部署Redis,从而实现如此高的QPS能力。这种架构之所以可行,得益于亚马逊云科技强大的全球骨干网络能力和EKS容器服务。

另一个客户案例是,演讲者举例说明,在将数据从北美同步到欧洲的场景中,网络延迟仅为600-800毫秒,在常规经验中,1秒内的延迟都不算慢。亚马逊云科技的数据库产品如Aurora全球数据库和DynamoDB全局表都提供了全球化的功能,可以让数据在全球任意两点之间迅速传输,网络延迟控制在1秒内。这为全球化业务的发展提供了有力支持,避免了复杂的主从同步、数据一致性等架构问题。

总的来说,现代数据库架构设计应该遵循”专门构建”的原则,根据不同业务场景选择最合适的数据库,并利用云服务提供商强大的基础设施能力,打造高效、可靠、全球化的数据库解决方案。演讲者坦言,这18年来他都是被业务需求所推动,被迫不断接受新的数据库技术和架构。只有与时俱进、敞开思维、专门构建,才能应对日益复杂的业务需求。

在问答环节,一位来宾就开源搜索引擎OpenSearch的知识向量化能力提出了疑问。演讲者解释说,知识向量化存储并非OpenSearch所特有,很多数据库如MySQL、PostgreSQL、Redis等都提供了类似的功能,本质上是将向量化数据存储到某一列的特殊数据类型中。不过,OpenSearch的确提供了将传统搜索与知识向量查询相结合的混合能力,在某些场景下会更加方便。而且,OpenSearch作为开源产品是免费的,这也是它被广泛采用的一个重要原因。

另一位来宾提到了知识图谱的应用场景。他想知道在构建知识图谱时,实体embedding和关系embedding应该如何存储,是否可以与向量数据库相结合。演讲者表示,他个人倾向于将图数据和向量数据分别存储在两个数据库中,通过API进行交互,因为将它们混合存储在同一数据库中可能会带来操作上的一些问题。不过,这种做法会给数据工程师带来额外的数据清洗和处理任务,后续或许还需要探索更好的解决方案。

总的来说,这场演讲为我们展示了云原生数据库架构设计的最佳实践。演讲者从实战经验出发,阐述了”专门构建”的重要性,并分享了亚马逊等企业的真实案例,为我们揭示了大规模数据库架构的复杂性和多样性。同时,他也坦诚地表示,面对日新月异的业务需求,数据库架构设计永无止境,我们必须保持开放的思维,与时俱进地学习和实践新技术、新架构,才能跟上时代的步伐。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技大会上,演讲者以幽默的方式解释了构建电商网站的基本技术栈,引起了现场观众的阵阵笑声。

亚马逊云科技中国峰会2024上,演讲者分享了亚马逊如何通过拆分和优化不同的数据库服务,如DynamoDB、DynamoDB DAX、MemoryDB和图数据库等,来满足不同的业务需求。

亚马逊云科技中国峰会2024上,演讲者阐述了亚马逊云科技(亚马逊云科技)全面的数据解决方案,涵盖数据存储、处理、分析和可视化等各个环节。

亚马逊云科技中国峰会2024:亚马逊Aurora数据库可实现跨洲际写入,延迟仅600-800毫秒,展现了云计算技术的卓越性能。

亚马逊云科技中国峰会2024:通过DynamoDB的Global Table功能,实现全球业务的高效扩展,解决数据一致性和架构复杂性问题。

总结

云原生数据库架构设计的关键在于根据业务需求进行专门构建。随着业务规模的爆发式增长,单一的关系型数据库已无法满足需求,需要采用多种数据库技术组合,如键值数据库、图数据库、内存数据库等,专门为不同的业务场景构建合适的数据库解决方案。亚马逊云科技(亚马逊云科技)提供了丰富的数据库产品选择,并依托其强大的全球网络基础设施,能够实现数据在全球范围内的高效访问和同步,为企业的全球化业务发展提供了有力支持。数据库架构设计已不再是单一技术的选择,而是需要整体考虑数据战略,从数据采集、存储、分析到展现,形成一个完整的数据流程,以满足不断变化的业务需求。

亚马逊云科技的优势在于提供了开放、包容的基础架构服务,支持各种开源和第三方数据库方案。同时,其全球化的网络基础设施能够实现跨地域的低延迟数据访问和同步,简化了复杂的数据一致性问题,为企业的全球化业务部署提供了强有力的支持。因此,在云原生时代,数据库架构设计需要与业务需求紧密结合,采用多种数据库技术的组合,并利用云服务商提供的基础设施优势,构建高效、可靠、灵活的数据解决方案。

2024年5月29日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。