NVIDIA2024年AI-AGENT夏季训练营 — RAG智能对话机器人

项目概述：

AI-AGENT夏季训练营是由NVIDIA发起，旨在帮助初学者学习如何基于NVIDIA-NIM平台构建RAG和多模态智能体的线上训练营。通过为期四天的系统性学习，学员将深入了解NVIDIA-NIM平台的特色，并掌握在该平台上基于AI模型实现智能体构建的方法。

项目亮点:

   •深入学习NVIDIA NIM平台：了解NIM平台的特色及其在AI模型部署中的优势。

   •实战经验积累：通过为期4天的系统性学习，掌握构建智能体的具体步骤和技术要点。

   •前沿技术掌握：学习Phi3系列模型的新特性，了解如何利用这些模型提升智能体性能。

   •实践导向的教学模式：结合理论讲解与丰富的线上实验环节，确保学员能够在实践中掌握新知识。

基础版RAG智能对话机器人：

背景：预训练的大模型虽然具备广泛的知识基础，但由于知识的局限性和时效性，如果不进行定期更新，可能会逐渐过时。大多数企业和开发者面临算力和数据规模的限制，难以从零开始训练大规模模型。因此，一个常见的做法是使用预训练的大模型，并结合自己的数据对其进行微调，以快速解决特定领域的业务需求。然而，即使在这种情况下，大模型也可能出现过拟合、训练数据偏差等问题，导致模型输出的内容看似合理，但实际上包含错误，经不起深入检验。

 

为了解决这些问题，一种有效的工程化手段是采用RAG技术。RAG技术能够将大型语言模型与外部知识源相结合，从而改进模型回答问题的准确性。具体来说，RAG的工作流程如下：

检索阶段：

输入的文本首先被转化为查询。这个查询可以是输入的原始文本，也可以是经过预处理和转换后的向量表示。随后，使用该查询从预构建的知识库或文档库中检索出最相关的文档片段。这个知识库可以是开放域的百科全书，也可以是特定领域的文档集合。

生成阶段：

将检索到的文档片段与原始输入进行融合，形成新的输入文本或输入向量。这个融合过程可以是简单的拼接，也可以采用更复杂的交互融合机制。基于融合后的输入，使用预训练语言模型生成最终的输出文本。在生成过程中，模型会充分利用检索到的相关信息，以确保输出更具知识性和准确性。

 

数据构建过程:

在数据构建过程中，首先采用了CharacterTextSplitter方法将文本按照字符数量进行分块处理，每块大小设定为400字符。这种方法保证了文档内容的连续性，同时也便于后续的向量化处理。在数据分块的同时，每一块数据都被关联了其来源信息，这样可以在检索时返回相关的上下文或文档信息，有助于保持文档内容的完整性和上下文的连贯性。

 

向量化处理方法:

在向量化处理方法中，使用了FAISS库构建向量存储。FAISS是一种高效的近似最近邻（Approximate Nearest Neighbor, ANN）搜索库，特别适用于处理大规模向量数据。通过FAISS，可以将分块后的文本数据转换为向量表示，并进行存储。在向量化过程中，采用嵌入模型ai-embed-qa-4来生成文本向量。处理好的向量存储被保存在本地文件系统中，方便后续加载和使用，确保了数据的持久性和易用性。

实施步骤：

此次项目使用Langchain与NVIDIA-NIM平台相结合的方式进行，NVIDIA-NIM平台是一个专门为高性能推理服务设计的平台，它支持多种类型的AI模型和服务，特别是针对大型语言模型和多模态模型。NIM平台旨在简化AI模型的部署过程，并优化模型的运行效率，使得开发者可以轻松地将复杂的AI模型集成到他们的应用程序中。这种预构建容器化工具，方便快捷并且模型更新速度快。

使用LANGCHAIN-NVIDAI-AI-ENDPOINTS工具可以快速的跟大模型进行对话和交互，进行多模态的应用。以下是开发环境的搭建过程，以及必要的库的安装与配置。

调用查看当前可支持的模型有哪些。

选择想要使用的模型ai-phi-3-small-128k-instruct，将模型传入并实例化。从ＮＩＶＩＤＩＡ网站中Try NVIDIA NIM APIs获取所需模型的API-KEY，并填入使用。

此时未使用RAG技术，得到的答案宽泛且笼统，不满足需求。

接下来使用RAG技术，首先，使用embedding模型ai-embed-qa-4对文本进行向量化和数字化，构建向量数据库，并初始化向量模型。

将准备好的有关巴黎奥运会的文本数据存入文件夹中，并获取文本数据集。

对文本数据进行进行一些基本的清理并删除空行。

处理后的文本内容如下：

将文档处理到 faiss vectorstore 并将其保存到磁盘。

重读之前处理并保存的 Faiss Vectore 存储。

提出问题并基于phi-3-small-128k-instruct模型进行RAG检索。

得到的结果如下：

总结与感悟：

参加这次NVIDIA AI-AGENT夏季训练营后，我深感收获良多。这四天的学习不仅让我对NVIDIA NIM平台有了深入的理解，更重要的是，我掌握了构建LLM-RAG和多模态智能体的核心技能。每一堂课都充实而富有启发性，从基础理论到实际操作，每一环节都让我兴奋不已。

尤其值得一提的是RAG技术的应用，让我深刻理解了如何通过动态检索机制来显著提升AI模型的生成效果。通过结合外部数据源，模型的输出变得更加精准和智能，真正实现了处理复杂查询的能力。我还对多模态智能体的构建有了更深入的认识，了解到如何将文字、语音、图像等多种数据形式融合处理，从而使AI系统具备更强的理解和表达能力。

在课程中，我还参与了实际的编程实验，这不仅加深了我对理论知识的理解，还将理论转化为了实际技能。每当看到自己构建的智能体能够准确地回答问题，甚至理解复杂的语义时，我都感到无比自豪。NVIDIA和Microsoft的工程师们提供的细致指导更是让我受益匪浅，让我在学习过程中避免了许多不必要的误区。