亚马逊云科技-Amazon DocDB GenAI创新应用

AmazonDocumentDB创新及应用实践

关键字: [亚马逊云科技中国峰会2024, DocumentDB, 数据库产品, 文档数据库, 灵活数据架构, 高吞吐写能力, 游戏数据存储]

本文字数: 1500, 阅读完需: 8 分钟

导读

在亚马逊云科技中国峰会2024上,安在军介绍了亚马逊云科技的DocumentDB(文档数据库)及其在电商领域的应用实践。他首先解释了DocumentDB的概念、特点和适用场景,如内容管理、商品目录、物联网数据和游戏数据等。接着介绍了DocumentDB的云原生架构、弹性伸缩能力和新增功能,如向量数据查询支持、全文检索和自动补丁通知等。他还分享了一个游戏客户使用DocumentDB的案例,以及新推出的IOT优化版本如何降低成本。最后,安在军邀请了深圳宜安科技有限公司的肖俊峰分享了他们在电商领域使用DocumentDB的最佳实践,包括如何利用DocumentDB的灵活数据模型、索引和实时数据分析能力来支持跨境电商平台的搭建和运营。

演讲精华

以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。

亚马逊云科技数据库产品经理安在军先生开始讲解DocumentDB(文档数据库)。他解释了亚马逊创建众多数据库服务的原因,是为满足不同场景的需求,如应对电商业务的波峰波谷、内容管理、商品目录、物联网数据、游戏数据等。在早期的电商业务中,传统关系数据库无法应对业务的突增或下降,横向扩展的弹性伸缩极为困难。因此,亚马逊在云上托管了关系数据库RDS和Aurora,作为云原生数据库,它们在横向扩展方面具有很大的弹性。

安在军阐述了DocumentDB被设计为云原生数据库的原因。与传统单体结构不同,DocumentDB采用计算存储分离的架构,非常适合部署在云平台上。如果计算资源不足,只需横向扩展计算层;如果存储空间不够,数据可自动扩展整个集群,最大可达128TB。DocumentDB的这种云原生架构包含上层计算资源和下层存储,还可备份到S3。计算资源由主实例负责读写,读实例的副本可从0个扩展到15个,每个实例的配置都可以不同,如主实例可选4X Large,每个读实例可选2X Large,临时需求时还可扩展到8X Large的读实例。存储则跨三个可用区,每个区写两份,总共六份数据,确保任一区域崩溃不影响集群数据。

DocumentDB目前有两个主要版本。第一个是基于实例的副本集架构,用户只需选择实例类型,存储是共享的,最大128TB,读副本最多15个,约占客户的80%至90%。第二个是弹性集群分片架构,用于SAAS分片场景,不需指定实例类型,只需设置SAAS数量,最多32个SAAS,每个相当一个128TB的独立集群,适用于每秒上百万次读写的高写入场景。

2024年,DocumentDB增加了多项新功能。一是支持向量数据查询,向量数据可直接存储,支持16000维,基本可满足常用的1000维或500维的需求,满足商品推荐、聊天机器人、近似搜索、购物助手等场景。二是增加全文检索功能,支持关键字搜索大文本,并与向量搜索结合实现双向召回,适用于舆情分析等场景。三是自动补丁通知,用户可选择手动打补丁,或在指定时间窗口如每周三1点到1点半自动打补丁,也可根据需求推迟一周或两周。四是推出I/O优化版本,所有I/O免费,存储和实例成本会涨,但对过去的重I/O写入场景客户如游戏、物联网、分析查询等,可节省30%以上成本。

接下来,安在军分享了一个游戏客户莉莉丝游戏的DocumentDB实践案例。莉莉丝游戏选择DocumentDB的原因:一是需要灵活的数据模型,因为游戏中技能状态各不相同,需快速迭代;二是与之前自建的MongoDB API兼容,方便迁移;三是成本较低。从技术角度,莉莉丝游戏需要计算和存储资源能够弹性伸缩,并且是托管数据库服务,免除运维负担。在采用DocumentDB后,莉莉丝游戏遇到的最大问题是成本较高。通过切换到I/O优化版本、使用R6g实例类型并删除不需要的索引,莉莉丝游戏的DocumentDB成本节省了50%以上,在上线运行4个月后立即切换到新版本。莉莉丝游戏的远光84游戏将游戏服务器部署在新加坡区域,认证、登录、付款、游戏状态读写等都在DocumentDB上;在美国、南美、欧洲、亚洲等区域部署游戏服务器,所有数据直接远程写入新加坡的DocumentDB集群。

随后,安在军邀请了深圳宜安科技创新技术总监肖俊峰,分享他们在跨境电商平台Winningfor中使用DocumentDB的实践。Winningfor是一个服务品牌商和分销商的创新型供应链平台,包括订单、采购、仓储、商业智能等模块,已与100多个品牌合作,拥有1万个SKU产品。零售商和分销商可基于该平台快速上线销售,压缩上市时间,并利用系统数据进行运营决策。

肖俊峰解释了他们选择DocumentDB作为核心数据库的原因。首先,由于需要与不同传统零售商对接,每家公司的数据格式可能不同,DocumentDB可使用JSON格式灵活存储订单、采购、库存等核心业务数据,在同一连接下实现差异化存储。其次,他们需要数据结构具有灵活扩展的可能性,采用非范式数据模型。再者,DocumentDB提供二级三级索引的快速检索能力,有利于高效开发。

肖俊峰详细阐述了他们基于DocumentDB的实时数据分析架构。所有系统数据都存储在DocumentDB中。为实现实时数据分析,他们结合DocumentDB的Change Stream能力、Amazon Web Services Serverless和dbt开源框架,构建了一套数据分析流程。具体来说,Change Stream会触发Lambda函数将数据流入SQS,再由Lambda处理数据并异构到数据仓库,转换为行式或列式数据。同时支持对原始数据进行过滤、清洗、聚合,生成二级三级分析表。在EKS集群中,他们采用dbt框架以Job的方式执行ETL任务,生成最终的分析报表数据。这种架构可实现实时增量数据同步,简化ETL流程,并具有良好的扩展性和效率。

最后,肖俊峰总结了选择亚马逊DocumentDB的几个原因:一是保持中外架构一致性;二是提高开发效率,降低运营成本;三是DocumentDB具备自动化能力,如自动部署、自动更新、自动备份、秒级RPO等;四是能够基于Change Stream实现实时数据分析,持续反馈给运营;五是符合欧美法律法规,有利于出海合规。

总的来说,这个视频全面介绍了亚马逊DocumentDB的产品特性、新功能、优势案例,以及在游戏、电商等行业的应用实践,为观众提供了DocumentDB在不同场景下的全景解决方案。DocumentDB凭借其灵活的数据模型、高性能、良好的扩展性和自动化能力,帮助客户降低成本,提高开发效率,实现实时数据分析等,可有效满足各种业务需求。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技数据库产品负责人安在军介绍了公司的数据库产品线,并欢迎深圳宜安科技创新技术总监萧俊峰分享在 DocumentDB 上的电商实践经验。

亚马逊云科技在2024年中国峰会上宣布了一些重要的功能更新,包括支持向量数据查询,将向量数据直接存储在数据库中,并支持多种索引方式,为各种应用场景提供了强大的支持。

亚马逊云科技推出自动补丁通知功能,让客户可以选择手动打补丁或忽略,并可根据业务需求推迟补丁时间。

亚马逊云科技推出新的 IoT 优化版本,免费提供 IO 操作,针对游戏、物联网和大数据分析等 IO 密集型应用,可降低成本 30% 以上。

莉莉丝游戏采用亚马逊云科技的Amazon DocumentDB作为其热门游戏”远光84”的游戏服务器和数据服务器,节省了50%以上的成本。

亚马逊云科技中国峰会2024:探讨如何整合传统零售商,实现产品出海新赛道

。

总结

亚马逊云科技的DocumentDB是一款灵活、高性能的文档数据库服务,专为云环境而设计。它具有以下优势:

1. 灵活的数据模型,适用于多种场景如内容管理、商品目录、物联网数据和游戏数据等。每行数据结构可以不同,方便存储不同类型的数据。
2. 云原生架构,计算和存储分离,支持弹性伸缩。可根据需求快速扩展计算或存储资源,降低成本。
3. 2024年新增向量数据查询、全文检索等功能,支持更多应用场景。还推出了IO优化版本,针对IO密集型工作负载降低成本。
4. 在游戏、电商等行业广受欢迎。一家游戏公司利用DocumentDB的灵活性和高吞吐能力,支持其大型多人在线游戏。
5. 在电商领域,一家公司利用DocumentDB存储核心业务数据,并结合亚马逊云科技服务实现实时数据分析,持续优化运营。DocumentDB的灵活性和性能满足了其差异化存储和高效开发的需求。