【AI落地应用实战】Amazon Bedrock + Amazon DynamoDB 数据设计与建模

中杯可乐多加冰

已于 2024-08-13 08:27:57 修改

阅读量9.7k

点赞数 29

分类专栏：各种解决方案 AI落地应用实战文章标签：数据库数据库架构 SQL 数据挖掘大模型 LLM 人工智能

于 2024-07-29 20:31:11 首次发布

本文链接：https://blog.csdn.net/air__heaven/article/details/140780427

版权

各种解决方案同时被 2 个专栏收录

32 篇文章 6 订阅

订阅专栏

AI落地应用实战

13 篇文章 0 订阅

订阅专栏

一、Amazon DynamoDB简介

在当今数字化转型的浪潮中，企业对数据处理能力的需求日益增长，为了应对大规模数据和高并发访问的挑战，选择一款合适的数据库解决方案变得尤为重要。

Amazon DynamoDB，作为亚马逊云科技提供的一种完全托管式、无服务器的NoSQL键值数据库，凭借其高性能、高可用性和可扩展性，成为了构建现代化应用程序的理想选择。

高性能：DynamoDB以其卓越的性能著称，能够在个位数毫秒级的时间内响应高并发请求。这种低延迟的特性对于如实时交易系统、在线游戏和即时通讯应用等需要快速响应的应用至关重要，通过优化其分布式架构和内部算法，DynamoDB确保了即使在面对大规模数据集时也能保持稳定的性能表现。
高可用性：高可用性是DynamoDB的另一大亮点。通过跨多个亚马逊云科技可用区自动复制数据，DynamoDB提供了高达99.999%的服务可用性保证，这种高可用性设计不仅增强了数据的可靠性，还确保了即使在面对区域性的故障时，应用也能持续运行并对外提供服务。此外，DynamoDB还提供了多种故障恢复机制，如自动故障转移和快速故障恢复等，进一步提升了系统的稳定性和可用性。
可扩展性：DynamoDB数据库支持无缝扩展，能够根据应用的需求自动调整计算资源和存储容量。无论是初创公司的小型项目还是大型企业的复杂应用，DynamoDB都能提供灵活的资源管理方案。

在大规模应用中，DynamoDB不仅支持快速数据访问和实时数据处理，还能够处理大规模数据集的存储和检索。

在电商领域，DynamoDB可以高效地存储和管理用户购物车、订单历史、产品信息等关键数据，其高并发处理能力和低延迟特性确保了用户在购物过程中的流畅体验。

对于社交媒体平台而言，DynamoDB凭借其高性能和可扩展性，能够支持大规模的社交互动和数据交换。

在实时分析领域，DynamoDB能够存储和检索实时数据流，为实时分析和决策支持系统提供强有力的支持，通过快速处理和分析实时数据，企业能够更准确地了解市场动态和用户行为，从而做出更加精准的决策和优化策略。

二、Amazon Bedrock + Amazon DynamoDB数据设计与建模实践

在智能体对话场景中，对话记忆存储是实现流畅、个性化交互的关键。智能体需要记住用户的历史对话内容、偏好和行为模式，以便提供更加精准和贴心的服务。然而，随着对话数据量的激增，如何高效地存储、管理和检索这些数据，同时确保对话的实时性和准确性，成为设计智能体对话系统时面临的主要挑战。

2.1、Amazon Bedrock + Amazon DynamoDB架构图

在智能体对话系统中，Amazon Bedrock提供了强大的数据湖和分析服务，而Amazon DynamoDB则提供了高性能的NoSQL数据库服务。结合这两者，可以构建一个既能够处理大规模数据，又能够实现快速响应的智能体对话平台。智能体通过Amazon EKS运行的服务接收用户的输入，利用Amazon Bedrock进行数据分析和处理，然后将结果存储在Amazon DynamoDB中，以供后续的对话使用。

在这里插入图片描述
架构图展示了智能体与用户交互的流程：

用户发起对话请求。
智能体应用，部署在Amazon EKS上，接收并处理请求。
应用查询Amazon DynamoDB以获取会话历史，整合当前会话信息。
将整合信息发送至Amazon Bedrock上的Claude智能体模型，生成回答。
应用将智能体的回答返回给用户。

2.2、数据查询/存储方案

2.2.1、表设计和实体关系详解

在理清业务需求和技术实现架构之后，需要针对会话历史信息的存储和查询，进行详尽的技术拆解。为满足智能体对话场景中的高并发、低延迟和稳定性需求，Amazon DynamoDB的数据查询/存储方案主要包括以下几个方面：

会话记录存储：使用Amazon DynamoDB的基表chat_session来存储用户和智能体之间的聊天会话记录。每条记录包括聊天ID（chat_id）、用户ID（user_id）、智能体ID（ai_id）、会话创建时间（create_time）等关键信息。
活跃会话标记：通过特定格式的排序键（SK）前缀#ACTIVE#来标记当前活跃的聊天会话，确保查询时能迅速定位到最新会话。
历史会话保留：用户可以选择删除旧的聊天会话，但这些记录会被软删除（即在数据库中保留记录，但增加delete_time时间戳来表示历史状态）。

2.2.2、ERD（数据库实体关系图）分析

在智能体对话场景中，数据的有效存储与查询是确保系统高效运行的关键。通过设计合理的数据库实体关系图（ERD），我们可以清晰地定义各个实体之间的关系，为智能体对话系统提供坚实的数据支撑。
在这里插入图片描述
在智能体对话系统中，主要涉及以下几个实体：

用户（User）：代表与系统交互的个体或组织，通过唯一标识符user_id进行区分。
智能体（AI digital persona）：指生成式AI驱动的对话实体，每个智能体具有唯一的ai_id。
聊天会话（Chat Session）：记录用户与智能体之间的对话过程，通过chat_id唯一标识每一次会话

实体之间的实体关系为多对多关系，即用户与智能体之间存在多对多的关系，即一个用户可以与多个智能体进行对话，同时一个智能体也可以与多个用户进行交互。这种关系通过聊天会话实体进行关联。

2.3、访问模式实现

创建新的聊天会话（CreateChat）：

当用户与生成式AI数字人开始新的对话时，系统需要创建一个新的聊天会话记录。这涉及到在DynamoDB的基表（如chat_session）中插入一条新记录，包括会话ID（chat_id）、用户ID（user_id）、AI数字人ID（ai_id）、会话状态（如标记为#ACTIVE#）以及其他可能需要的元数据（如会话开始时间）。

获取指定聊天会话（GetChatByUser_Id_and_AI_Id）：

当用户继续之前的对话时，系统需要根据用户ID和AI数字人ID查询当前活跃的聊天会话。这通常通过DynamoDB的全局二级索引（GSI）来实现，因为直接通过主键查询可能无法直接获取到最新的活跃会话（如果会话ID是动态生成的）。GSI可以设计为以user_id和ai_id为键，同时包含会话状态和其他相关信息的投影，以支持高效的查询。

删除聊天会话（DeleteChat）：

用户可以选择删除旧的聊天会话记录。在DynamoDB中，这通常通过更新会话记录的状态来实现，而不是直接删除记录（实现软删除）。可以在会话记录中添加一个时间戳字段（如delete_time），并将其设置为当前时间以标记会话为已删除。这种方式保留了会话的历史记录，同时允许通过查询排除已删除的会话。

重启聊天会话（RenewChat）：

当用户想要重新开始与AI数字人的对话时，系统可以创建一个新的聊天会话记录，并同时标记旧的活跃会话为已删除或失效。这涉及到插入一条新的会话记录到DynamoDB，并更新或删除旧的会话记录的状态。

更新指定会话的AI版本（UpdateAIVersionByChat_Id）：

随着AI数字人模型的更新，可能需要更新特定会话中使用的AI版本。这可以通过DynamoDB的更新操作来实现，即根据会话ID（chat_id）更新会话记录中的AI版本字段。这种操作确保了在继续对话时，系统使用的是最新的AI模型版本。

在DynamoDB中实现这些访问模式时，关键是要合理设计基表和GSI的键以及属性投影，以支持高效的数据插入、查询、更新和删除操作。同时，还需要考虑数据一致性、可用性和成本效益等因素，以确保系统的整体性能和可靠性。
综上所述，Amazon Bedrock和Amazon DynamoDB的结合为生成性AI应用程序提供了强大的数据支持和存储解决方案，Bedrock提供了高性能的基础模型，而DynamoDB则提供了可靠、可扩展且高性能的存储服务，这种组合使得用户能够轻松构建和部署复杂的AI应用程序。