加速AI之旅，携手Splunk和亚马逊云科技

加速AI之旅，携手Splunk和亚马逊云科技

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Bedrock， Accelerate Ai Journey， Splunk Amazon Web Services Partnership， Monitor Ai Applications， Secure Ai Systems， Leverage Data For Ai]

导读

全球各地的组织都已经采用人工智能来释放前所未有的价值、推动创新并提供变革性的客户体验。随着人工智能创新的加速，企业必须不断适应并将新技术纳入其人工智能战略，同时确保人工智能的韧性。参加这个闪电演讲，了解Splunk和亚马逊云科技如何合作帮助组织在人工智能进步中保持领先地位，加速开发并增强人工智能应用的监控和安全性。本演讲由亚马逊云科技合作伙伴Splunk为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

在2024年亚马逊云科技 re:Invent活动上，Splunk全球合作伙伴技术经理Brett Roberts就Splunk与亚马逊云科技合作加速AI之旅做了全面的演讲。Roberts首先承认AI对企业产生了变革性影响，从孤立的项目发展到深深融入企业、产品和服务的核心。

Roberts强调组织通过整合AI获得了巨大收益，包括提升客户体验、增加收入和利润以及提高生产力。但他也指出将AI纳入关键任务应用程序(如监控、保护和访问大量数据以构建准确的AI模型)存在挑战和风险。

作为安全和可观测性统一平台的领导者，Splunk一直在帮助客户应对这些挑战。该平台使组织能够将来自亚马逊云科技一方数据服务、第三方来源、本地或其他云提供商的所有数据整合到一个统一视图中，从而有效监控和保护系统。此外，Splunk平台还内置了AI功能，有助于精准检测威胁、威胁搜寻、合规性和可观测性用例，最终实现数字弹性。

Roberts强调了Splunk在AI领域的长期专业知识，如机器学习工具包、AI驱动的IT服务智能和企业安全SIM工具。随着客户AI采用的不断发展，Splunk正在三个关键领域扩展其AI服务:通过AI辅助可观测性和安全性提高数字弹性;使客户能够利用其数据创建自定义AI模型和大型语言模型(LLM);以及保护和监控AI应用程序和服务。

重点关注最后一个领域，Roberts深入探讨了Splunk如何与亚马逊云科技合作，为亚马逊云科技生成式AI堆栈的各个层面提供洞见和可见性。该堆栈包括基础设施、用于构建AI应用程序的Amazon Bedrock、AI助手和用于机器学习模型开发的SageMaker。Roberts演示了Splunk如何通过启用模型调用日志记录并将日志和指标发送到CloudWatch和S3，从常用于构建生成式AI应用程序的Amazon Bedrock服务中摄取数据。

然后，该数据可以使用HTTP事件收集器、Kinesis Data Firehose和CloudWatch订阅过滤器无缝地被Splunk摄取。在Splunk中，摄取的数据会自动解析，并提取相关字段，使组织能够深入了解其Bedrock使用情况的各个方面。Roberts展示了提供使用模式洞见的仪表板，如最活跃的模型、账户、用户和区域。此外，仪表板还突出显示了延迟、错误原因和成本影响等性能指标，使组织能够优化其AI部署并识别潜在问题或偏离既定政策的情况。

Roberts强调，随着AI服务成为组织产品和服务的关键组成部分，监控和保护AI服务的重要性日益凸显。Splunk的方法使组织能够深入了解其亚马逊云科技 AI服务，识别潜在问题或偏离既定政策的情况，并优化其AI部署的性能、成本和合规性。

为了展示Splunk仪表板的功能，Roberts提供了一个概览仪表板的示例，该仪表板呈现了组织Bedrock服务使用情况的高级总结。该仪表板显示了使用Bedrock的账户数量、每个账户中的用户数量、最活跃的区域、使用最多的模型和最活跃的用户。此外，它还提供了与过去24小时相比的调用活动、与防护栏和令牌限制相关的错误以及成本趋势的比较洞见。

Roberts随后深入探讨了专注于使用情况、性能和成本的更细粒度仪表板。使用情况仪表板使组织能够监控按模型划分的总作业数量，识别使用过度或过少的模型，并检测任何偏离组织关于模型使用的政策的情况。此外，它还提供了现场调用的地理分布可见性，使组织能够根据区域性能和成本考虑因素来优化其AI部署。

成本仪表板提供了与AI模型使用相关的费用的全面视图。它按模型和区域划分，呈现输入令牌、输出令牌和总成本的费用明细。考虑到成本与提示和输出的复杂性相关，Splunk实施了查找表，可动态从亚马逊云科技 API检索最新的成本信息，确保成本计算的准确性。此外，该仪表板还根据标准提示对成本进行了标准化，使组织能够识别和解决潜在的成本效率低下或异常情况。

性能仪表板专注于监控AI模型的延迟，这是确保优化用户体验的关键因素。它按模型、区域和提示复杂度提供延迟洞见，使组织能够识别性能瓶颈并相应地优化其AI部署。通过根据提示复杂度对延迟进行标准化，该仪表板确保了准确的比较，并促进了明智的决策。

在整个演讲过程中，Roberts强调了监控和保护AI服务的重要性，因为它们正成为组织产品和服务的关键组成部分。通过与亚马逊云科技的合作，Splunk的方法使组织能够全面了解其亚马逊云科技 AI服务，识别潜在问题或偏离既定政策的情况，并优化其AI部署的性能、成本和合规性。

总之，Brett Roberts在2024年亚马逊云科技 re:Invent上的演讲展示了Splunk通过提供统一平台来保护、监控和优化AI应用程序和服务(尤其是亚马逊云科技生成式AI堆栈)的能力，从而加速AI之旅。通过无缝数据摄取、自动解析和洞悉性仪表板，Splunk使组织能够采用AI，同时降低风险并最大化这一变革性技术的益处。

下面是一些演讲现场的精彩瞬间：

Brett Roberts，Splunk 的全球合作伙伴技术经理，介绍了自己并表达了对讨论人工智能这一他所热衷的话题的兴奋。

强调确保人工智能系统的安全性以防止恶意使用者的滥用，并确保良好的客户体验和业务连续性的重要性。

介绍了一个统一平台，整合了包括 亚马逊云科技、第三方、本地和多云在内的所有数据源，通过人工智能驱动数字弹性，实现全面的安全性、可观测性和监控。

亚马逊云科技 推出了全面的生成式人工智能技术栈，使开发人员能够无缝构建和部署定制的人工智能服务和应用程序。

强调了跨多个 亚马逊云科技 账户和用户负责任地使用人工智能的监控和防护措施的重要性。

Splunk 在 亚马逊云科技 re:Invent 2024 上展示了人工智能驱动的安全可观测性工具和定制的人工智能助手，并在他们的展位上进行了演示和演讲。

总结

Splunk作为领先的数据平台，正在彻底改变组织监控和保护其AI应用程序的方式，尤其是那些构建在亚马逊云科技服务之上的应用程序。在这个富有洞见力的演讲中，Splunk全球合作伙伴技术经理Brett Roberts揭示了Splunk如何利用其统一的安全性和可观测性平台，使企业能够充分发挥AI的潜力，同时缓解风险和挑战。

通过无缝集成亚马逊云科技数据源，包括来自CloudWatch、CloudTrail和Bedrock等服务的日志、指标和事件，Splunk为AI应用程序提供了全面的视图。这使得组织能够监控AI性能、检测异常、确保合规性并优化成本。Roberts演示了Splunk的AI驱动仪表板如何提供AI模型使用情况、用户活动、错误原因和成本影响的实时可见性，从而实现主动管理和明智决策。

此外，Splunk正处于AI创新的前沿，正在开发安全性和可观测性的定制AI助手，并将AI功能集成到其现有产品中。这种整体方法使组织能够在保持数字弹性、安全性和运营卓越的同时，拥抱AI。

总之，Splunk与亚马逊云科技的合作为组织提供了一个引人注目的解决方案，使它们能够加速AI之旅，同时降低风险并最大化这一变革性技术的益处。通过利用Splunk的统一平台，企业可以自信地驾驭AI采用的复杂性，开辟创新和增长的新机遇。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。