关键字: [Amazon Web Services re:Invent 2023,[ Bedrock](https://aws.amazon.com/cn/bedrock/guardrails/ ?&trk=42570719-fa2a-4df9-893d-40b6ac004272&sc_channel=el " Bedrock"), Multi-Tenant Patterns, Generative Ai, Fine-Tuning Models, Tenant Experiences, Prompt Engineering]
本文字数: 1600, 阅读完需: 8 分钟
视频
如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1ei4y1a738
导读
在 SaaS 环境中支持 AI/ML 和生成式 AI 需要团队应对一系列多租户挑战。提供商需要考虑如何将租户映射到模型、如何为租户扩展推理、如何将解决方案与其他 AI/ML 服务集成，以及如何调整 LLM 以满足租户的特定需求。在本论坛中，您将深入了解多租户与 AI/ML 之间的这些交叉点，包括将 AI/ML 作为 SaaS 产品的一部分所面临的常见设计、性能、隔离和体验挑战。学习识别在 SaaS 环境中应用AI/ML 和生成式 AI 时需要考虑的模式和策略。
演讲精华
以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。
在会议开始时，Todd和James详细阐述了他们的演讲背景和动机，即探讨多租户SaaS与生成性AI的结合。他们意识到许多客户和合作伙伴都对此充满兴趣，希望能了解如何将这些生成性AI的能力融入多租户环境中。
具体而言，需要考虑哪些支持SaaS工作流和原则的架构细节？多租户SaaS提供商如何在为每个租户提供个性化体验的同时，仍能提供一个统一的解决方案？这是Todd和James试图解答的核心问题。
Todd表示，生成性AI对于SaaS行业来说是不可避免的趋势，它能丰富应用程序并为有针对性的租户体验带来新的可能性。然而，他也提醒，多租户模式确实会对诸如数据分区、隔离和定价等方面产生影响。此次演讲将涵盖一些策略，如微调模型和使用检索增强生成(RAG)以在多租户背景下提供定制的生成性AI。
James承认，由于生成性AI仍处于初级阶段，最佳实践尚未完全形成。但他们希望让观众对连接多租户和生成性AI的心理模型有一个基本的了解。
Todd列举了一些关键组件，如基础模型（如SageMayer和Bedrock的LLMs）和可选层（如用于自定义模型的微调和RAG）。这些组件共同构成了一个多租户SaaS应用程序的基础，该应用可以协调租户体验并在后台处理租户上下文以提供个性化的响应。
他以一个简单的例子来说明了一个使用Bedrock的应用程序。使用相同的提示，所有租户都会得到相同的响应。但在SaaS中，目标是独特的体验。因此，可以将租户上下文注入到Bedrock请求中，以定制响应。
以一个电子商务SaaS平台为例，该平台包括跨领域（如高尔夫、工具和服装）的商店。当租户搜索产品时，他们的域上下文被添加到后台请求中。这促使Bedrock返回一个特定于域的响应。例如，一个高尔夫商店的查询可以指定“左撇子高尔夫球手，带有切球”。通过增加高尔夫语境，Bedrock会提供一把量身定制的球杆推荐。而对于工具商店，提供的回应适合锤子和大锯。
Todd总结说，在多租户SaaS中，重要的是强调租户对生成性AI有不同的期望。根据租户的领域定制体验是关键。
他随后让詹姆斯负责深入研究在多租户环境中运用检索增强生成（RAG）技术的问题。
詹姆斯解释道，RAG技术通过从外部数据源中检索相关信息来提高语言模型（LLM）的输出质量。常见的数据来源包括Pinecone等向量数据库，用于基于查询嵌入的语义相似性搜索。然而，RAG技术并不局限于向量数据库。詹姆斯还展示了如何使用DynamoDB或RDS来查找租户数据并将其纳入LLM提示中。
他以一个示例说明了云应用如何从专用表中获取当前租户推广的产品。这些产品被用来构建一个指向LLM的提示，要求其生成有吸引力的营销文案。当另一个租户登录时，他们的产品将被获取，并根据需要构建相应的提示。
詹姆斯介绍了各种RAG数据源选项，如OpenSearch、Postgres和Kendra。选择取决于使用场景、对租户数据进行分区/隔离的能力以及操作特性如噪声邻居。
接着，詹姆斯阐述了Bedrock的新Knowledge Base功能如何自动化某些RAG步骤。它可以将租户数据收集到OpenSearch中，生成嵌入，提供查询端点并返回结果——全部由Bedrock托管。
之后，詹姆斯讨论了Bedrock的Agents功能，它利用LLM的推理能力，通过将复杂任务分解为通过API调用来执行的步骤。他展示了一个代理帮助客户选择高尔夫球杆的例子，通过提示所需信息，查找建议，并下订单。
租户上下文贯穿于所有步骤，因此后端逻辑可以结合租户详细信息。詹姆斯强调，代理示例展示了多租户与生成AI的融合。
托德接着讲述了如何处理不足的提示工程问题。这需要微调—— 在特定用例下针对额外数据进行专门训练的模型。幸运的是，Bedrock提供了完全托管的微调服务。
微调维度包括具有自定义数据的每租户模型或跨相关租户共享的行业/域模型。该过程产生了仅对该账户可用的定制模型。
关于部署，托德概述了在租户配置期间启动微调和RAG数据导入作为异步任务的流程。租户配置映射模型和数据源被存储在一个管理服务中。
在请求处理方面，该服务被查询以解析租户的具体模型和数据源。然后，可以根据需要构建提示和进行处理。
关键在于，Todd强调了在执行新构建（如微调模型和RAG数据源）时强制实施租户隔离的重要性。通过IAM策略限制模型访问，同时数据分区/过滤可以为特定租户提供视图。
谈到层次结构，Todd首先介绍了用于限制资源消耗的运营层级。在此层级中，API网关可以在允许Bedrock调用之前，根据频率和复杂性拦截请求以验证是否符合节流策略。
在产品层级方面，可选方案包括为基本租户和优质租户提供不同的基本模型、定制级别、SLA或推断配额。Tenant上下文在整个过程中流动，以便后台逻辑可以包含租户的具体信息。James强调，代理展示了混合多租户和生成性AI的例子。
Todd接着讨论了如何处理提示不足的问题？答案是进行精细调整——在特定用例的额外数据上训练的专用模型。幸运的是，Bedrock提供了完全管理的精细调整功能。
精细调整的维度包括具有自定义数据的每租户模型或跨相关租户共享的行业/领域级别的模型。该过程产生只能由该账户使用的定制模型。
对于入职流程，Todd概述了在租户配置期间启动精细调整和RAG数据人口化作为异步任务的过程。租户的配置映射模型和数据源存储在管理服务中。
总之，在请求处理方面，该服务被查询以解析租户的具体模型和数据源。然后，可以根据需要构建提示和进行处理。
微调和RAG为实现多租户SaaS的强大定制提供了可能性。在何处和如何实现定制至关重要——从使用场景出发。传统的SaaS原则，如隔离和分层依然适用。然而，一个新的因素——复杂性影响了诸多方面，如限流和定价。因此，在选择部署策略时，需与工作负载保持一致——独立的、池化的或按需等。此外，利用现有的工具和框架可以提高生产力。
总的来说，虽然生成AI带来了新的机遇，但一个稳固的多租户SaaS基础仍然是关键。定制、隔离、分层以及其他概念都需要重新审视。然而，坚持用户驱动的设计并运用现有工具可以帮助供应商成功地将其AI技术融入SaaS业务中。
下面是一些演讲现场的精彩瞬间：
领导者每年都会重新塑造亚马逊云科技，这得益于他们对新兴技术和模式的深入思考。
这些讨论将在即将举行的re:Invent上展开。
基石代理（Keystone Agent）是一种人工智能助手，它能够通过将复杂任务拆分成多个步骤、收集所需信息、调用亚马逊云科技的服务并查阅知识库数据，帮助用户顺利完成各种任务。
这种代理会编写提示、执行推理过程并将结果呈现给用户，展示了AI助手的强大功能。
在租户级别对AI模型进行微调，可以创建出针对每个租户特定数据和用例的定制模型。
应用程序会根据租户信息解析，检索微调后的模型ID，构建提示，调用模型，然后将响应发送回给用户。
亚马逊云科技提供了灵活的选择，以便根据不同租户和使用场景的可用数据，定制生成性AI模型，例如微调和RAG。
总结
在亚马逊云科技的re:Invent演讲中，专家深入探讨了如何将生成性人工智能（AI）集成到多租户软件即服务（SaaS）应用中。首先，他们介绍了生成性AI如何通过定制化的租户体验来丰富SaaS服务的潜在可能性。然而，在一个共享环境中提供独特体验带来了数据分区、隔离和定价方面的挑战。
演讲者列举了一些解决方案，例如微调基本模型和使用基于检索的生成增强（RAG）技术，根据租户的上下文定制回应。他们强调了保护租户数据的重要性，以防止跨边界访问。通过使用身份和访问管理（IAM）角色和令牌认证，可以隔离诸如微调后的模型之类的资源。此外，通过根据复杂性而非频率实现请求节流，API网关可以提高性能。讨论还涉及了分层定价模式，其中包括基于经验或推理的计费方案。
总之，这次演讲为将生成性AI整合到多租户SaaS应用中提供了一个高级别的概述，包括定制方法以及关于安全、节流和定价的关键考虑因素。它强调了这项技术的潜力，同时也承认了许多尚未解决的问题。演讲者强调，要从一个预期的使用案例开始，然后逆向确定正确的定制和部署策略。
演讲原文
https://blog.csdn.net/just2gooo/article/details/135112559
想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！
2023亚马逊云科技re:Invent全球大会 - 官方网站
点击此处，一键查看 re:Invent 2023 所有热门发布
即刻注册亚马逊云科技账户，开启云端之旅！
【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”
亚马逊云科技是谁？
亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。
1081
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
