Amazon DynamoDB 设计与建模最佳实践之 AI 数字人场景

于 2024-03-12 18:24:24 发布
阅读量1.1k 收藏 21
点赞数 22
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/awschina/article/details/136669420
版权

25a6ff70d5afdfb51371d6d87b126815.gif

互联网浪潮中，科技改变生活，真切地让我们感受到工作的提效、生活的便利、娱乐的多样化。伴随更多的业务需求和极速的系统膨胀，作为核心价值的数据存储方案设计也变得愈发重要，NoSQL (Not only SQL) 也逐渐深入人心。亚马逊云科技秉承专门构建的理念，为客户提供完整的云原生数据战略体系，为不同业务类型，提供最优解。

92410a80b7fe4348bebcb6b70c608cc3.png

01

Why DynamoDB？

自 2007 年的第一篇“Dynamo 研究论文”，到 2012 年 Amazon DynamoDB 服务的推出。现在，亚马逊云科技在大型非关系数据库和云服务技术领域 18 年持续投入，带给我们一款为互联网规模的应用程序而生、快速、高度可靠且具有成本效益的 NoSQL 数据库服务。

Amazon DynamoDB 是一种完全托管式、无服务器的 NoSQL 键值数据库，旨在运行任何规模的高性能应用程序。每天持续处理超过 10 万亿个请求。且可提供无限的可扩展性，稳定的个位数毫秒级性能和高达 99.999% 的可用性。

3dc94441a445383c1f93af998b5d2482.png

基于 Amazon DynamoDB 的能力和使用场景，如何以最佳实践的方式在 AI 场景发挥作用，是很多客户关心的话题。

02

业务场景描述

AIGC（AI-Generated Content，人工智能生成内容）风靡全球，而 LLM (Large Language Model) 创造力和智慧是最惊艳的部分。但是在工程化的过程中，我们希望数字人可以有“记忆”，来延续对话的上下文。那么会话的记忆存储，就需要一个可以承载高并发、低延迟的数据库来支撑业务。

2.1 架构图详解

根据业务需求，将 Amazon Bedrock 的 Claude2 模型和 Amazon DynamoDB 结合，来实现智能“问答”和“记忆”。

问答流程：

  1. user 发起访问

  2. 基于 Amazon Elastic Kubernetes Service (Amazon EKS) 运行的 AI 数字人应用，接收对话请求

  3. APP 查询 DynamoDB 会话的历史记录，并结合当前会话内容，整合信息

  4. 发送整合后信息到 Amazon Bedrock Claude2，获取“回答”

  5. APP 发送“回答”给 user

最低0.47元/天 解锁文章
博客
企业DevOps探讨：“谁构建、谁运行”原则的理论基础
12-30 9461
“谁构建，谁运行” --沃纳·沃格尔这样的场景大家想必不会陌生：我们正与家人共度美好时光，突然刺耳的电话铃声嗡嗡响起，我们的注意力也为之吸引。听筒中的尖叫声告知，我们的应用程序——也就是那些定期受到内存泄漏侵扰、但重启之后又能恢复正常的小冤家们——现在终于彻底起义了，服务器资源在几分钟之内就被其彻底榨干。目前该应用已经无法正常起效，而运维团队除了尝试重启与回滚之外无法可想——而最新
博客
企业DevOps：实施过程中需要关注的各项要点
12-29 8086
作者：亚马逊云科技企业市场战略总监Stephen Orban“经验并非凭空创造，而是依靠点滴积累所实现” ---阿尔贝·加缪在此次的企业DevOps探索之旅系列文章当中，我将带大家一同探讨企业在具备一定DevOps经验之后又该如何处理下一步可能面临的状况。当然，这些只是我个人在接触自动化、面向客户服务之IT体系以及“谁构建、谁运行”方面事务的同时积累下的一些心得体
博客
将DevOps纳入企业环境引发的思考
10-13 6360
作者：亚马逊云科技企业市场战略总监Stephen Orban“发展是一种以渐进式改善为载体的持续性行为”——英德拉瓦蒂虽然DevOps可以算是相对新鲜的概念，不过在我看来、其本质思路很早之前就已经出现。从这个角度看，目前很多企业已经广泛接纳这一概念并将其作为文化性产物看待，具体而言就是将大量原本孤立的团队融合起来，从而实现速度更快、频率更高且更为可靠的工作成果。我个人非常幸运
博客
利用Amazon Machine Learning与Amazon Redshift建立二进制分类模型
09-07 8266
日常生活中的大部分决策都以二进制形式存在，具体来说就是这类问题能够以是或者否来回答。而在商业活动中，能够以二进制方式回答的问题也有很多。举例来说：“这种情况是否属于交易欺诈？”，“这位客户是否会购买该产品？”或者“这位用户是否存在流失风险？”等等。在机器学习机制中，我们将此称为二进制分类问题。很多商业决策都能够通过准确预测二进制问题的答案来得到强化。Amazon Michine Learning（
博客
利用Amazon Mobile Analytics与R深入探究移动应用的使用模式
08-31 6806
作者：Sandeep Atluri 亚马逊数据科学家要真正鼓励用户使用我们的移动应用程序，最重要的前提就是深入了解用户使用应用程序时的行为模式，而后据此作出体验优化。不过通过应用程序事件数据来找出有意义的模式往往极具挑战性，而标准KPI所提供的诸如月度活跃用户（简称MAU）以及每日活跃用户（简称DAU）并不足以勾勒出完整的图景。举例来说，所发布应用在过去三十天中的用户开启次数能够帮
博客
亚马逊云科技使用心得：当初我曾错过的那些宝贵经验
07-08 2万+
在今天的文章中，我整理出了大量当初曾经错过、而至今仍将我追悔莫及的亚马逊云科技（Amazon Web Services）使用心得。在几年来的实践当中，我通过在亚马逊云科技之上新手构建及部署各类应用程序而积累到了这些经验。虽然内容有些杂乱，但相信仍然能给各位带来一点启示。从物理服务器向“云环境”转移的过程不仅仅是一项技术任务，同时也意味着我们的思维方式需要作出针对性的转变。总体而言，在物理环境下我们
博客
从零开始：使用 Amazon Q CLI 开发一款软件
05-28 554
过长的代码可能导致 Q 阅读和修改代码的时候，只是进行了局部操作，忽略上了过长的上下文，导致局部逻辑正确，整体代码结构错乱，例如在一个 500 行的 python 代码中修改曾经出现，修改后的代码片段“缩进格式不正确”，然后 Q 会反复尝试修改以最小修改量来修复这个错误，最后花了很多时间迭代数十次才完成任务。根据测试，我们可能会发现，工具只是简单从 java 的 pom.xml 中解析了<dependency>中的依赖，但是没有检查依赖包的子依赖。工具需要支持 python，nodejs，java。
博客
利用生成式 AI 加速应用程序 Operational Readiness Review（ORR）流程
05-26 666
运营就绪审查（ORR）是一个结构化的评估过程，用于确定应用程序或系统是否已准备好投入生产环境。ORR 通常涵盖多个关键领域，包括:安全性与合规性可靠性与弹性性能与效率可操作性与可维护性成本优化ORR 的目标是在应用程序部署前识别并解决潜在问题，确保系统能够满足业务需求和技术标准。在做 ORR 的时候，运维和开发团队的负责人需要在公司统一的审查标准之上，对应用程序的各个方面进行审查，并最终生成报告。
博客
提升开发运维效率：原力棱镜游戏公司的 Amazon Q Developer CLI 实践
05-23 949
找到GuideNavigationContext.cs 然后里面有UIManager.CreateView的调用，我现在需要异步编程，所以我写了一个新的UIManager.CreateViewAsyncUniTask，我现在需要你帮我把GuideNavigationContext.cs里面的同步改异步，UniTask你可以从工程里找到，你试试吧。最后，CLI 提供了完整的操作总结，包括所创建资源的概览、如何访问服务的说明，以及生成的 update_pod.sh 脚本使用说明。
博客
省省吧！教你一招搞定Amazon MSK流量成本优化难题
05-22 18
写入端向主题中发送的消息可以大致均衡的分布在这个主题的多个分区上；每个分区的主副本分区负责承载写入端的写操作和消费端的读操作，其他的副本分区在Kafka集群内部同步主副本的消息，为2时，Producer（写入端）向Amazon MSK写入的消息会先送达到分区主副本所在的节点，然后消息会在Amazon MSK集群内部自动向另外的2台分区副本所在的节点同步；集群的消费端，可以在同可用区内就近消费分区中的数据，该特性允许消费端从副本分区所在的节点进行数据拉取并消费，而以往消费端只能在主副本分区上进行数据拉取。
博客
依赖包生命周期管理太难？Amazon Q CLI来帮你！
05-22 27
添加扫描进度条，提取项目名在扫描报告中，扫描的报告需要支持text、json、html格式，扫描结果的不同状态用emoji进行表示。”拆分后的短小代码，在后续的修改中成功率会更高，步骤数更少。过长的代码可能导致Amazon Q阅读和修改代码时，只进行局部操作，而忽略过长的上下文，导致局部逻辑正确，整体代码结构错乱。例如在一个500行的python代码中修改曾经出现类似情况，修改后的代码片段“缩进格式不正确”，然后Amazon Q会反复尝试修改以最小修改量来修复该错误，最后花了很多时间迭代数十次才完成任务。
博客
零基础教程｜Bedrock+DeepSeek快速搭建企业智能客服系统
05-21 19
本教程专注于Flask应用的本地搭建和功能实现，适合希望在本地环境中测试和开发智能客服系统的企业用户。对于未来计划将系统部署到微信公众号、网页客服或内部系统的用户，Flask应用也可以作为后端服务，便于与这些平台进行集成。调用了DeepSeek模型，并基于预设的知识库提供了准确的回答。”时，系统会结合上传的考勤制度文件，生成详尽的解答。因此，如果确定短期内不再使用该知识库，建议按照以下顺序清理资源，以避免产生不必要的费用。如果没有DeepSeek模型的使用权限，可点击页面上的“申请”按钮获得权限。
博客
云效账单分析利器！Amazon CUR助您轻松掌控云成本
05-21 29
打开控制台，在「账单」服务界面下，点击菜单上的「账单」，就能看到按服务拆分的账单。对于预留实例，真实使用的实例，其费用显示会是0，用户在统计的时候就不会把这些统计进去，但还是能看到预留实例优惠的实际应用情况，，这个指的是账单发票ID，而更实际的意义，是代表这个账单是否已经正式出具，等待客户付款。通过VCPU小时数，可以避开机型的影响，更真实地看到业务量的变化。需要注意的是，CUR报告默认是不打开的，并且也无法追溯以往的记录，只有用户手动打开之后，详细的用量数据才会被导出到指定的Amazon S3桶。
博客
基于亚马逊云科技构建音视频直播审核方案
05-21 1093
随着互联网内容形态的多样化发展，用户生成内容（UGC）呈现爆发式增长。社交平台、直播、短视频、语聊房等应用场景中，海量的音视频内容需要进行实时审核，以维护平台安全与用户体验。然而，企业在构建审核系统时通常面临以下挑战：审核准确性：需要精准识别多种媒介中的违规内容，减少误判率实时性要求：在直播等场景要求尽可能快地获取结果成本压力：审核成本高昂，自建审核平台投入大规则定制：不同场景下的审核标准各异，需要灵活配置系统稳定性：需要支持高并发且保证服务可用性。
博客
三步打造物流数据湖方案，数据存储与查询效率飞升
05-20 31
Amazon S3的高可用性和弹性存储能力，结合Redshift的列式存储和大规模并行处理（MPP）架构，使得复杂查询的响应时间大幅缩短，用户能够在几秒钟内获取所需数据，从而提升决策效率。：随着2B业务的发展，需要维护的数据库数量不断增加，DB之间的相互调用加大了数据接口管理复杂性，同时自建DB的可用性挑战越来越大。WMS的主要功能有入库管理，出库管理，库存管理，并对接订单数据与物流数据，提供物流送达数据分析与报表，打造无缝的技术体验。，系统可以自动发现数据源并生成元数据，方便后续的数据分类和搜索。
博客
MCP+Amazon Bedrock协作，模型调用更灵活、更智能！
05-20 22
1.阅读网页并进行内容总结对人类而言，是一项很简单的任务，但大语言模型（LLM）通常无法像人类一样主动访问网页，也无法获取其参数记忆之外的信息。为了演示这个过程，本文会在当前的服务器文件中加入几个非常实用的功能，并展示Claude如何智能地将它们组合使用，同时准确地区分各个工具的作用。请求从给定的URL获取内容的工具。发送请求，传递对话历史、可用工具和模型配置参数，以获取来自基础模型的响应，处理下一轮对话。3.对于工具的使用，它调用工具处理程序，并使用工具的结果向Amazon Bedrock发起新的请求。
博客
Amazon Bedrock 上的模型擂台赛：Nova、Claude，谁是最强图片/视频审核大模型？
05-20 724
本文将使用相同的视频图像审核测试数据集，从审核准确率、误报率、漏报率等多项指标全面评估亚马逊云科技 Amazon Bedrock 上三款多模态大模型的表现差异，这包括亚马逊自研大模型 Nova 系列的 Lite 和 Pro 模型、Anthropic 的 Claude 3.7 Sonnet 模型，对比分析不同模型在色情内容和暴力内容审核场景下的优势，为您选择和构建合适的基于大模型的内容审核解决方案提供洞见与参考。Nova Lite 对色情图片的检测准确率为 50%，对暴力图片的检测准确率为 88.33%
博客
数日即可构建Agent？Strands Agents说到做到！
05-19 43
尽管LLM的性能逐渐提高，但这些改进并不意味着可以利用现有的框架更快地构建和迭代Agent，Clare团队仍需花费数月时间让一个Agent达到生产可用的状态。为了完成Agent原型的开发和部署，Clare团队不得不依赖各种复杂的Agent框架库，这些库能够为Agent提供所需的基础架构和编排能力，确保其在早期模型中能可靠的完成任务。在每次循环中，Strands会将提示词、Agent上下文以及Agent工具的描述信息，一并传递给LLM。例如，可在Lambda函数中运行Agent工具，同时在。
博客
快速上手教程！构建MCP Client代理Amazon Bedrock请求
05-19 43
亚马逊云科技SaaS Factory高级解决方案架构师，致力于帮助客户在亚马逊云科技上构建SaaS解决方案。如下代码会接收输入，并保持对话循环，直至用户退出（输入空白消息）。使用Converse时，您需要提供包含用户与助手之间所有消息的对话记录。则是一款可供使用的开源协议，但您需要构建一个客户端，来代理。MCP目前仍处于初期发展阶段，但这类工具在提升。，以便将请求代理到MCP Servers，，则可在代码中指定的位置，通过以下代码将。的同时，常需使用其他资源或工具。调用正确的工具，并将响应返回给。
博客
变长特征序列处理太头疼？Amazon SageMaker治愈开发焦虑！
05-19 39
以上方案1中，把变长特征通过截断和padding，处理为定长的序列特征字段，该方案会导致特征数据膨胀问题，比如原来某一特征列在原始数据中只有5个多值key和weight权重，而如果特征基数为10，需要padding为定长10的特征序列，则会膨胀一倍。在模型训练时传入特征训练数据，该API只能接收定长序列的特征字段类型。和截断的定长序列特征、保持变长序列特征的两种训练方案，两种方案各有特色，分别适用于不同的应用场景，旨在建立一个高效、可扩展的变长特征处理框架，为推荐和广告系统的模型训练提供更好的支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值