优化Bedrock上的AI工作负载：技术深度探讨

优化Bedrock上的AI工作负载：技术深度探讨

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， New Relic， Ai Workload Optimization， Observability Data Analysis， Application Performance Monitoring， Model Selection Optimization， User Privacy Protection]

导读

参加这场技术闪电演讲，探索如何使用New Relic AI监控来优化Amazon Bedrock上的AI工作负载。通过现场演示和真实案例，学习如何识别性能瓶颈、排查问题，并优化成本效率和可扩展性。了解New Relic的统一平台如何实现对AI技术栈的无缝可视化，从而实现可靠高效的部署。本次演讲由亚马逊云科技合作伙伴New Relic为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

在人工智能(AI)快速发展的格局中，企业正以前所未有的速度采用生成式AI。超过70%的企业组织正在积极探索将生成式AI整合到其产品和服务中，以追求加速创新速度。这一趋势进一步得到了这样一个预测的支持:到2024年底，仅仅三周后，40%的企业应用程序将包含一个对话AI组件。

然而，这种广泛采用并非没有挑战。大约75%的用户对AI技术带来的虚假信息、隐私违规和监管合规问题表示担忧。这些顾虑促使总统今年早些时候发布了一项行政命令，要求采取必要措施提高AI系统的安全性，并将推出滚动合规措施。

AI的扩散为应用程序开发带来了一系列新的复杂性。技术栈正在经历转型性的变革，偏离了传统架构。这种演变反映了行业从单体应用程序向分布式服务的过渡。AI现在正在推动新工具、数据库和编排机制的整合，需要重新评估数据存储、管理和隐私协议。

此外，AI正在重塑遥测数据的格局，这是了解系统健康状况的关键组成部分。遥测数据的基础元素——指标、事件、日志和跟踪——正在被新的维度如数据偏差、幻觉和有害性所增强。这种范式转变要求开发人员提高警惕并进行适应。

同时，采用AI应用程序和服务取决于建立用户信任，这是一种易碎且容易流失的商品。一次失误就可能无可挽回地损害用户信心，导致放弃和失去用户。

为应对这些挑战，New Relic开创了业界首个为AI应用程序量身定制的应用程序性能监控(APM)解决方案。这一创新产品使工程师能够自信地构建和运营AI应用程序，提供了整个技术栈的全面视图，并结合了对AI应用程序性能、向量数据库以及性能和成本之间权衡的上下文洞察。

在现场演示中，Saez展示了一个使用Node.js开发并托管在Amazon Bedrock上的AI聊天机器人应用程序，该应用程序利用了Claude模型。这个应用程序支持对话式交互，解释游戏规则，并允许用户参与游戏体验，如井字棋。

在New Relic平台中，Saez演示了分析请求和响应指标的过程，包括响应时间、令牌使用情况和错误率。这种分析有助于识别性能瓶颈并制定优化策略。通过检查单个请求及其相关的调用堆栈，开发人员可以发现缓慢的操作或需要优化的方法，从而提高整体用户体验。

此外，该平台的错误识别功能使开发人员能够调查并解决影响用户的各个请求生命周期阶段的问题。错误以红色高亮显示，并提供了有关特定阶段、函数调用和错误详细信息的详细信息，简化了调试过程。

优化AI工作负载的关键方面之一是审慎选择模型。Saez展示了模型库存功能，它提供了在指定时间范围内所使用模型的全面概览。该功能呈现了每个模型的关键性能指标，如请求数量、平均响应时间、令牌使用情况和错误率。有了这些数据，开发人员就可以在模型选择方面做出明智决策，权衡性能、成本和错误缓解考虑因素。

在整个演示过程中，Saez强调了可观察性数据在了解系统健康状况、优化性能、管理成本和确保AI应用程序用户隐私方面的关键作用。New Relic平台的AI监控功能使开发人员能够更快地调试应用程序、在性能和成本之间取得平衡，并实施数据过滤机制来保护用户隐私。

在AI快速发展的格局中，用户信任至关重要，应用程序复杂性不断增加，优化AI工作负载的能力对于企业来说至关重要，以充分利用生成式AI的力量。New Relic创新的解决方案，如其AI监控和可观察性平台，为开发人员提供了必要的工具和洞察力，以驾驭这一变革时代，确保交付高性能、经济高效且安全的AI应用程序。

下面是一些演讲现场的精彩瞬间：

演讲者介绍了使用Amazon Bedrock优化AI工作负载的主题，重点关注可观测性和利用数据来了解AI模型性能。

演讲者强调开发人员在2024年底之前将对话式AI纳入企业应用程序的紧迫性，同时解决了有关虚假信息、隐私以及确保AI安全和安全性所需的监管合规性的担忧。

演讲者讨论了AI如何改变技术格局，引入了新工具、数据库以及数据隐私和编排的新考虑因素，同时强调了遥测数据在了解系统健康状况和应用程序性能方面的重要性。

New Relic的AI监控功能提供了全栈可观测性，让您可以了解整个技术栈的健康状况和性能，就像汽车仪表板让您了解其速度、发动机温度和其他重要指标一样。

演讲者强调了高效调试应用程序、平衡性能和成本以及选择正确的模型来优化资源利用率同时保持峰值性能的重要性。

演讲者演示了如何利用平台工具获取洞见并通过创建过滤器从用户请求中删除敏感信息(如社会安全号码)来确保用户隐私。

该平台展示了跟踪和分析AI交易的能力，提供了每个交易中使用的包、工具、数据库和LLM的洞见。

总结

在reInvent2024活动上的一场引人入胜的演讲中，New Relic高级总监Jemiah Saez深入探讨了在Amazon Bedrock上优化AI工作负载的复杂过程，提供了独特的可观测性视角。他着重于所需的数据及其在理解AI模型内部工作原理方面的应用，展现了一个引人注目的故事。

首先，他强调了企业中对生成式AI的快速采用，有超过70%的企业正在探索将其整合到产品和内部流程中，目的是追求加速创新和发布周期。然而，这种增长带来了新的挑战，包括应用程序复杂性增加、新的遥测数据类型以及更高的安全性和合规性要求。

其次，Saez强调了New Relic在引入AI应用程序监控方面的开创性作用，使工程师能够自信地构建和运行AI应用程序。通过全面了解技术堆栈和AI特定上下文，该平台有助于平衡性能和成本、确保用户隐私，并促进更快的调试。

第三，在现场演示中，Saez展示了New Relic平台如何让用户识别性能瓶颈、优化资源利用率并比较不同AI模型的性能。通过分析请求持续时间、令牌使用情况和错误率，工程师可以确定需要优化的领域，并就模型选择和开发做出明智决策。

最后，Saez强调了可观测性在建立信任和维护用户对AI应用程序的信心方面的重要性。通过提供系统健康状况和性能的洞见，New Relic使组织能够提供可靠和值得信赖的AI体验，从而促进长期的用户采用和满意度。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。