利用RAG和AI加速商业决策和提高网络弹性

利用RAG和AI加速商业决策和提高网络弹性

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Cohesity Gaia， Information Retrieval Pipeline， Generative Ai Capabilities， Enterprise Data Management， Vector Database Indexing， Large Language Models]

导读

企业正在利用人工智能加速其业务发展，但他们面临的一个共同挑战是将分散、孤立的数据整合到人工智能服务中。为了让人工智能模型提供有意义的洞察，它们需要在企业数据上进行训练，而这些数据通常分布在多个环境中。解决方案是——将人工智能带到数据所在的任何地方。在本次会议中，了解NVIDIA、亚马逊云科技和Cohesity如何将生成式人工智能与现代数据平台相结合，从二级数据中提供即时、高质量的洞察，帮助企业更快地解决关键问题。还可以了解支持法律发现的研究、构建安全的团队特定知识发现领域，以及简化基于合规性的调查研究。本演示由亚马逊云科技合作伙伴Cohesity为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

在2024年亚马逊云科技 re:Invent的会议上，来自Cohesity的Greg Statin和来自NVIDIA的Nava Valgarisi讨论了他们在利用检索增强生成(RAG)和人工智能加速业务决策和增强网络弹性方面的合作。他们首先概述了企业在大规模部署RAG时面临的普遍挑战。

首先，达到足以满足预期业务用例的准确性水平至关重要。目标是为最终用户提供实实在在的价值，因此需要确保数据管道和生成的AI准确性(包括语言模型检索和其他组件)达到所需的阈值。其次，在企业的私有网络生态系统内维护数据，对于许多企业用例来说是一个关键考虑因素和限制，因此确保数据存储在组织的安全网络基础设施内至关重要。

第三个挑战与构建这些管道的固有复杂性有关。引入代理、工具利用和各种连接器使得这个过程变得越来越复杂。简化这种复杂性，减少部署模型、编排模型和集成其他组件所涉及的开销，是NVIDIA的一个重点。在考虑启用大规模数据摄取和生成大量语言模型推理工作负载时，成本仍然是一个持续的考虑因素。

此外，生成式AI领域创新步伐的加快也构成了一个巨大挑战。在过去10到11个月的合作中，该领域经历了令人瞩目的进步，需要不断适应不断发展的生态系统和客户需求。正如Nava Valgarisi恰当地描述的那样，目标一直在前移，这是他们全心拥抱的现象。

他们出现在舞台上的一个关键原因是发现了一个重大机遇，即处理大规模数据库(包括艾字节的数据)，并将它们连接到生成式AI应用程序，引领企业进入这个变革时代。为了实现这一目标，他们拥有大量可以分享的技术，以及通过合作努力开发的一系列创新技术。

Greg Statin承认，在LinkedIn等社交媒体平台上，有人声称能够通过最少的代码或利用单一的GitHub存储库来部署RAG，据称可以获得前所未有的洞见。然而，他强调，虽然这些说法对于5到15份文档这样的小型文档集可能是正确的，但它们无法扩展到企业环境中遇到的规模，后者往往涉及数十万甚至数百万份文档。因此，这些工具无法满足企业所需的规模，凸显了像Cohesity这样的企业数据管理公司(每个客户管理数百PB的数据规模)与像NVIDIA这样为数据带来加速AI能力的公司之间合作的必要性。

Nava Valgarisi随后深入探讨了NVIDIA支持其RAG解决方案的技术。NeMo Retriever是一组微服务，可以部署、定制和扩展检索功能。这包括文本嵌入，即将大块文本转换为适合存储在向量数据库(一种新型数据存储形式)中的向量表示。此外，它还包括文本排名，即根据用户查询检索相关文本块，然后根据它们与查询的相关性对它们进行重新评分，这是实现高精度RAG管道的关键步骤。

NVIDIA通过NVIDIA推理微服务(NIMs)提供这些功能，这些优化的推理引擎将NVIDIA的软件堆栈封装在容器或包中，可以部署在各种环境中，包括亚马逊云科技、本地或混合设置。他们的目标是确保客户能够获得企业级支持、可扩展性、性能，并有效利用NVIDIA GPU。

虽然生成式AI和基础模型因其能够模仿人类流畅性而备受关注，但Nava Valgarisi强调，它们的有效性取决于它们所训练的数据质量。因此，信息检索管道(即识别和检索相关数据块)可以说比所使用的基础语言模型的大小更为关键。这个管道构成了企业数据策略的核心基础，实现了强大的信息检索。

NVIDIA拥有一支庞大的研究人员和开发人员团队，致力于推进建模方面(创建用于检索和RAG的最先进模型)和工程方面(优化大规模部署的管道和模型推理)。他们的检索模型在过去六个月里一直位列MSMARCO排行榜首位，这是一个开源社区基准，用于评估嵌入模型。

在推理方面，NVIDIA专注于实现对大型数据批次的高效处理，以便将其索引到向量存储中，并实现大规模快速检索。这得益于他们的量化向量搜索(QVSG)库，该库正在集成到现有的向量搜索应用程序中，如Camil和Vespa。

NVIDIA推理微服务(NIMs)封装了底层模型的价值，提供高精度的同时确保高吞吐量、低延迟和无缝可扩展性。与不使用NIMs的部署相比，使用NIMs部署可显著提高吞吐量，同时保持高精度水平。NVIDIA还与生态系统合作伙伴合作，使他们的模型能够在NeMo生态系统中部署，为客户提供灵活性，以利用最适合特定用例的模型。

可定制性是一个关键考虑因素，因为许多用例涉及特定领域的行话或术语，必须将其纳入嵌入空间，以确保高精度。NVIDIA的模型旨在可定制和可通过相同的NIMs和管道进行部署。

这些组件通过NVIDIA所称的“蓝图”进行集成，蓝图是参考架构，说明如何将NIMs和其他组件(包括NVIDIA和第三方提供商)连接到可为特定用例定制和部署的生产就绪管道。其中一个蓝图展示了一个多模态PDF摄取管道，能够处理不仅包含文本，还包含图表、图像、图形和表格的PDF。该管道采用一系列专门用于特定任务的模型，以确保在各自领域内的高精度。解析后的PDF输出随后被输送到嵌入和索引阶段，以便进行后续检索和RAG任务。

这些蓝图封装了优化的单个组件以及用于大规模嵌入、索引和高效PDF提取的优化管道。NVIDIA不断优化并与Cohesity和其他合作伙伴分享这些进展，使他们能够丰富自己的生态系统和解决方案。

Greg Statin解释说，这些蓝图在设计和架构Cohesity的解决方案时至关重要，该解决方案目前运行在亚马逊云科技上，但由于蓝图提供的灵活性，可以无缝部署在本地或混合环境中。这允许对针对特定数据类型、工作负载和行业优化的单个NIMs进行手术式部署，确保最佳性能和可重复性，这在AI领域是一个至关重要的考虑因素。

Nava Valgarisi重申，这些蓝图会不断刷新和更新，以纳入模型优化、数据处理技术、定制工具和其他创新的最新进展。这确保了客户能够持续利用NVIDIA的最新技术，并将其集成到自己的解决方案中。

有兴趣开始使用NVIDIA技术的客户可以通过build.nvidia.com上的预览API访问它们，该网站是一个API目录，提供可作为API、本地或云端部署的蓝图和NIMs。NVIDIA还在主要云服务提供商(包括亚马逊云科技)中拥有存在。此外，NVIDIA Launchpad提供了一个基于Web的环境，用于参与和学习如何使用NIMs和蓝图。

Greg Statin分享了Cohesity最初独立构建其检索增强生成管道的经验。他们很快意识到利用NVIDIA的NIMs优化模型性能、减少延迟、最大化每秒事务数以及最终降低每次查询和推理的成本的优势。虽然Cohesity可以投入大量工程资源来优化他们的模型，但到他们实现这一点时，更新更好的模型就已经发布，需要重新启动优化过程。通过采用NIMs，Cohesity能够避免这种复杂性，并确保最佳利用他们的GPU资源，这是一项不菲的投资。

Cohesity发布了Cohesity Data Cloud，该平台建立在四大支柱之上:数据保护、数据安全、数据移动性和数据访问。该平台建立在一个健壮的、无限可扩展的分布式文件系统之上，旨在运行不同的工作负载。Cohesity的创始人和早期员工秉承了超融合的核心理念，将工作负载更接近数据。

系统首先引入的工作负载是数据保护，包括为每个企业应用程序提供备份功能，无论是本地还是云端，都能通过软件定义的方式将数据备份到无限可扩展的平台上。

认识到受保护数据资产的价值，Cohesity试图重新利用它来实现额外的效率。这导致了数据安全套件工具的推出。利用备份流，Cohesity实现了异常检测功能，可以识别进入平台的任何异常字节流行为，并利用AI模型实现这一目的。此外，该套件还支持数据分类，允许客户扫描和分类数据，这对于评估已识别异常的影响至关重要。还提供了威胁搜寻功能，用于识别平台上的威胁，并且网络保险库功能可以将数据安全地传输到断开连接的位置，确保在系统完全失败的情况下仍有恢复路径。

遵循保留三份数据副本、两个位置和一个异地备份的理念，Cohesity开发了高效的数据移动性解决方案。通过拥有文件系统，Cohesity可以确定跨不同位置的最佳数据放置，以确保从地球上任何地方都可以恢复数据。

数据访问是另一个关键方面，使用户能够从世界任何地方访问任何时间点的数据，无论是一分钟前还是十年前的数据，都不会有性能损失。这种能力是通过重新利用用于备份目的的数据资产实现的。

Cohesity认识到，通过从各种工作负载中摄取和收集所有这些数据的元数据，他们实际上创建了整个企业的数字孪生表示。这一认识为数据洞察支柱铺平了道路，旨在通过生成式AI、AI和ML工作负载安全、可靠和负责任地重新利用数据资产，以驱动前所未有的运营洞察力。

Cohesity Gaia是数据洞察支柱的首个产品，利用NVIDIA NIM生态系统提供企业信息检索平台，将生成式AI应用于客户的备份数据。管理员可以选择数据源、为AI分析创建“数据集”，并应用细粒度的基于角色的访问控制机制来管理对敏感数据的访问。

在查询时，会检索相关的数据块，使用NVIDIA的技术对其进行重新排序，并将其包装到大型语言模型提示中。然后，语言模型会生成答案，并提供指向原始数据文件的引用和资源链接。这种一键式简单性支持了广泛的用例，如电子发现、合规性协助和知识管理，同时确保了企业数据的安全和负责任使用。

演示展示了一个实际场景，员工可以通过查询由Cohesity Gaia索引的公司档案，快速了解过去的数据泄露和政策变更。员工可以提出自然语言问题，Gaia会从存档数据中检索相关信息、生成详细答复，并提供指向源文档的引用。

展望未来，Greg Statin和Nava Valgarisi讨论了将生成式AI功能扩展到企业视频、图像、音频和其他非结构化数据模态的计划。这包括利用NVIDIA的RIVA NIM进行语音到文本和翻译模型，以及用于图像和视频摄取的视觉语言模型。目标是创建一个统一的管道，可以利用不同类型的数据用于各种用例、代理和机制。

Greg Statin概述了Cohesity的“Cohesity AI”三大支柱愿景:

1. 平台AI:利用AI实现运营智能，优化客户数据管理。
2. 洞察AI:如Cohesity Gaia等产品，利用生成式AI从存储的数据中获取洞察力。
3. 生态系统AI:提供工具、平台和服务，使客户能够为其业务提供AI功能。

与NVIDIA的合作关系将在为所有三大支柱的数据驱动AI功能提供动力方面发挥关键作用，因为数据是推动下一代AI、ML和生成式AI解决方案的燃料。

在平台AI支柱下，Cohesity自2015-2016年起就一直在使用AI，用于异常检测、勒索软件检测和数据分类等功能，这些都是数据安全支柱的一部分。即将推出的产品将利用生成式AI为平台操作员提供实时运营智能。

以Cohesity Gaia为代表的洞察AI支柱，支持电子发现和合规性协助等用例，允许法律和合规性专业人员通过自然语言查询与数据进行交互，缩短调查和发现所需的时间。知识管理是另一个关键用例，使用户能够筛选大量数据并针对自然语言查询获得精确的洞察力。

生态系统AI支柱旨在提供工具、服务和平台，使Cohesity的客户能够为其业务提供AI功能。这包括数据管理和过滤，利用Cohesity对文件系统的所有权向模型构建者呈现数据，用于培训和开发目的，并遵循更多数据导致更好的AI模型的原则。

在会议的剩余时间里，Greg Statin和Nava Valgarisi开放了问答环节，邀请与会者提出问题。

整个会议期间，Greg Statin和Nava Valgarisi强调了企业在大规模部署生成式AI时面临的挑战、NVIDIA和Cohesity提供的创新技术和解决方案来应对这些挑战，以及他们共同的愿景，即让企业能够利用最新的AI功能从数据中获取洞察力。Cohesity在企业数据管理方面的专业知识和NVIDIA在AI加速方面的实力互为补充，使这一合作伙伴关系成为企业寻求利用生成式AI力量的重要推动力，同时确保数据安全、治理和可扩展性。

下面是一些演讲现场的精彩瞬间：

演讲者们首先自我介绍，然后讨论了在企业中大规模部署生成式人工智能所面临的挑战，以及Cohesity和NVIDIA如何通过合作来简化和加速这一过程。

亚马逊云科技推出了NIMs，这是一种新技术，可以优化机器学习模型以适应GPU，从而无需复杂的工程工作，让客户能够最大限度地发挥GPU的性能。

Cohesity的新一代AI驱动解决方案与大型语言模型无缝集成，使用户只需点击几下，就能从数据中获得深入见解。

Cohesity Gaia通过AI驱动的对话式搜索，简化了从企业数据中获取见解的过程，同时确保数据安全、完整性和遵守治理政策。

Cohesity的数据平面能够高效地索引和处理来自任何地方的备份数据，从而在安全的备份环境中实现强大的搜索功能。

演示展示了用户如何与系统交互，查询数据、计算嵌入、执行相似性搜索、重新排序相关块，并使用语言模型生成答案。

总结

在这个引人入胜的叙事中，我们踏上了一段探索人工智能和数据在推动业务决策和增强网络弹性方面的变革力量的旅程。故事从英伟达和科希思两家行业巨头之间的合作伙伴关系介绍开始，他们怀着共同的愿景，加速推动人工智能洞见。

第一章深入探讨了在庞大的企业数据环境中扩展生成式人工智能能力的挑战。英伟达的Nava Valgarisi娓娓道来了这些障碍，包括实现足够的准确性、维护数据隐私、管理复杂性、控制成本以及跟上快速创新的步伐。这为英伟达NeMo Retriever和NIM(NVIDIA Inference Microservices)架构的揭幕做好了铺垫，这一架构针对大规模数据摄取、检索和生成式人工智能工作负载进行了优化。

随着故事的展开，科希思的Greg Statin成为焦点，介绍了科希思数据云及其支柱:数据保护、安全性、移动性和访问。他揭示了科希思无限可扩展的分布式文件系统如何重新利用受保护的数据资产，通过生成式人工智能功能推动增量价值。接下来是划时代的Cohesity Gaia，这一创新产品通过将人工智能引入数据，简化了洞见获取，确保了安全性、数据治理和负责任的数据管理。

叙事在一个引人入胜的演示中达到高潮，展示了Cohesity Gaia的实际威力，让用户可以轻松从企业数据存档中提取洞见。演示说明了Gaia如何能够总结未经授权的数据泄露、政策变更及其影响，同时保持数据完整性和访问控制。未来，科希思将扩展人工智能能力到多媒体数据，培育一个生态系统，让客户能够为业务提供人工智能。

在结尾，合作伙伴们分享了对未来征程的期待，承诺将继续创新和合作，释放人工智能和数据在推动业务成功和网络弹性方面的全部潜力。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。