LangChain 携手 NVIDIA：RAG加速新篇章

最新推荐文章于 2024-07-22 09:16:52 发布
最新推荐文章于 2024-07-22 09:16:52 发布
阅读量868 收藏 13
点赞数 11
文章标签： langchain 机器学习 人工智能 语言模型 自然语言处理 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84495725/article/details/139408338
版权

大约在一年半前，OpenAI 推出了 ChatGPT，标志着生成式 AI 时代的开启。自此，这一领域经历了迅猛的发展，并被各行各业广泛采纳。企业在将注意力从 LLM 应用的原型制作转向实际生产时，往往更倾向于选择自主托管的解决方案，而非依赖第三方模型服务。鉴于许多人在这一转变过程中遇到困难，LangChain 对于能够整合全新的 NVIDIA NIM 推理微服务感到无比振奋。

NVIDIA NIM 是什么？

在这里插入图片描述

NVIDIA NIM 是一系列用户友好的微服务，它们旨在加速企业内部生成式 AI 的部署进程。这种多功能的运行环境支持包括开源社区模型、NVIDIA AI 基础模型以及自定义 AI 模型在内的广泛 AI 模型。开发者可以利用行业标准的 API，仅需数行代码即可快速构建出企业级的 AI 应用。NIM 基于 NVIDIA Triton Inference Server、NVIDIA TensorRT、NVIDIA TensorRT-LLLLM 等强大的推理引擎，以及 PyTorch 等技术构建，旨在提供无缝的 AI 推理体验，确保您可以自信地在任何环境中部署 AI 应用。无论是在本地服务器还是云端环境中，NIM 都是实现大规模、高性能生成式 AI 推理的最佳选择。

为什么 LangChain 对 NVIDIA NIM 充满期待？

img

我们对 NVIDIA NIM 充满期待的原因有几个。

首先，最引人注目的是它的自托管特性。这意味着您向基于 NVIDIA 的模型发送的任何数据都将保留在您的服务器上，不会外传。对于那些经常需要处理敏感信息的 RAG 应用来说，这一点尤其重要。

其次，NIM 提供了一系列预构建的容器，这让您可以轻松选择并使用最新的生成式 AI 模型，而无需进行复杂的配置。

img

最后，NIM 的可扩展性。在个人电脑上本地运行模型是一回事，但要将其作为服务部署，并且保持与专业服务提供商相同的稳定性和可用性，则是另一回事。幸运的是，NIM 已经为您解决了这一挑战。

如何开始使用 NVIDIA NIM？

img

开始使用 NIM 非常简单。在 NVIDIA API 目录中，开发者可以轻松访问多种 AI 模型，用于构建和部署生成式 AI 应用。NIM 是 NVIDIA AI Enterprise 的一部分，这是一个全面的、基于云的软件平台，旨在简化生产级 AI 应用的开发和部署流程。您可以通过 这篇博客 获取如何开始使用的详细指南。

如何将 NVIDIA NIM 与 LangChain 结合使用？

最后，让我们来谈谈如何将 NIM 与 LangChain 结合使用。我们新增了一个支持 NIM 的集成包。要开始使用这个集成，您需要先安装我们专门为 NIM 设计的集成包：

python

复制代码pip install langchain_nvidia_ai_endpoints

安装完成后，您就可以导入所需的模型了：

python

复制代码from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings, ChatNVIDIA

集成示例

接下来，我们将通过一个示例来展示如何构建应用程序。如果您更喜欢通过视频学习，您可以在 这里 观看视频教程。

我们将利用 LangSmith 文档的一部分来构建一个 RAG 应用。为了增加趣味性，我们将采用一种高级检索方法：假设文档嵌入（HyDE）。HyDE 的设计理念是，搜索查询可能与我们要检索的文档不在同一个嵌入空间中。为了解决这个问题，我们可以利用 LLM 生成一个假设文档，然后检索与该假设文档相似的文档。

首先，我们需要安装一些额外的包：

python

复制代码pip install langchain-community langchain-text-splitters faiss-cpu

然后，我们将加载 LangSmith 文档作为我们 RAG 应用的数据源：

python复制代码from langchain_community.document_loaders import WebBaseLoader
loader = WebBaseLoader("https://docs.smith.langchain.com/user_guide") 

docs = loader.load()

在对文档进行索引之前，我们需要初始化嵌入模型：

python复制代码from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings
embeddings = NVIDIAEmbeddings()

接下来，我们可以使用 FAISS 向量存储来执行索引操作：

python复制代码from langchain_community.vectorstores import FAISS
from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
documents = text_splitter.split_documents(docs)
vector = FAISS.from_documents(documents, embeddings)
retriever = vector.as_retriever()

然后，我们可以初始化 LLM：

python复制代码from langchain_core.prompts import ChatPromptTemplate
from langchain_nvidia_ai_endpoints import ChatNVIDIA
from langchain_core.output_parsers import StrOutputParser

model = ChatNVIDIA(model="mistral_7b")

现在，我们将创建一个假设文档生成器。这个生成器由一个提示模板、LLM 和一个简单的输出解析器组成：

python复制代码hyde_template = """Even if you do not know the full answer, generate a one-paragraph hypothetical answer to the below question:

{question}"""
hyde_prompt = ChatPromptTemplate.from_template(hyde_template)
hyde_query_transformer = hyde_prompt | model | StrOutputParser()

接着，我们将创建一个新的链，用于生成假设文档：

python复制代码from langchain_core.runnables import chain

@chain
def hyde_retriever(question):
    hypothetical_document = hyde_query_transformer.invoke({"question": question})
    return retriever.invoke(hypothetical_document)

然后，我们将创建一个链，用于根据检索到的文档和问题生成最终答案：

python复制代码template = """Answer the question based only on the following context:
{context}

Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)
answer_chain = prompt | model | StrOutputParser()

最后，我们将创建一个最终的链，结合假设文档检索器和答案生成链，以产生最终的输出：

python复制代码@chain
def final_chain(question):
    documents = hyde_retriever.invoke(question)
    for s in answer_chain.stream({"question": question, "context": documents}):
        yield s

请注意，我们通过生成令牌来实现最终链的流式输出。现在，让我们来测试一下这个链：

python复制代码for s in final_chain.stream("how can langsmith help with testing"):
    print(s, end="")

通过这种方式，LangChain 利用 NVIDIA NIM 为 RAG 应用带来了 GPU 加速的 LLM 推理能力，大大提升了处理敏感数据的安全性，同时简化了从原型到生产的转变过程。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.2.1 什么是Prompt
    • L2.2.2 Prompt框架应用现状
    • L2.2.3 基于GPTAS的Prompt框架
    • L2.2.4 Prompt框架与Thought
    • L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
    • L2.3.1 流水线工程的概念
    • L2.3.2 流水线工程的优点
    • L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
    • L3.1.1 Agent模型框架的设计理念
    • L3.1.2 Agent模型框架的核心组件
    • L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
    • L3.2.1 MetaGPT的基本概念
    • L3.2.2 MetaGPT的工作原理
    • L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
    • L3.3.1 ChatGLM的特点
    • L3.3.2 ChatGLM的开发环境
    • L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
    • L3.4.1 LLAMA的特点
    • L3.4.2 LLAMA的开发环境
    • L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

闯江湖50年
关注
  • 11
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LangChain实战：使用 RAG 工作流程进行高效信息检索 Efficient Information Retrieval with RAG Workflow
禅与计算机程序设计艺术
10-22 1832
检索增强生成 (RAG) 是一种与预训练的大型语言模型 (LLM) 和您自己的数据配合使用来生成响应的模式。seq2seq它结合了预训练密集检索和序列到序列模型的强大功能。RAG 模型检索文档，将它们传递给 seq2seq 模型，然后边缘化以生成输出。article在我向您介绍 RAG 理论部分的文章的继续部分，我在这里向您介绍 RAG 在代码中的实现。让我们开始使用 Langchain 和 Hugging Face 来实现 RAG！
LangChain学习：RAG检索策略
gz927cool的博客
05-30 189
RAG系统中检索模块的优化策略
5个本地流畅运行大模型的免费工具
csdn1561168266的博客
05-02 1560
大家好，随着大型语言模型（LLM）驱动的聊天机器人逐渐普及，给人们的工作和生活带来了前所未有的便利。然而，这种便捷性背后潜藏着个人隐私信息被泄露的风险，例如AI公司会收集聊天记录和元数据来优化模型，从而提升服务，这不禁让用户担忧。对于注重隐私的用户而言，本地部署这些模型，可以有效保护个人隐私，同时也能更自主地管理自己的数据。本文将介绍5个在本地使用大型语言模型（LLM）的工具，这些工具不仅兼容主流操作系统，而且安装过程快捷简便。
RAG实战1 - 使用Mistral-7b, LangChain, ChromaDB搭建自己的WEB聊天界面
小然的百宝盒
01-13 689
一、RAG介绍 二、安装python环境以及相关的包 三、导入相关包 四、Mistral-7b模型介绍 五、Embedding模型 六、Prompt Template 七、数据加载 八、数据注入 九、查询 十、问答 十一、基于Gradio搭建问答UI界面
基于langchain的RAG实战
02-19
基于langchain的RAG实战
使用Ollama和LangChain构建本地RAG系统
06-29
使用Ollama和LangChain构建本地RAG系统
开源代码基于 ChatGLM+ Langchain 增强生成(RAG)大模型知识库增强问答系统
06-06
【开源代码】基于 ChatGLM+ Langchain 增强生成(RAG)大模型知识库增强问答系统 基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。思想实现的基于本地...
Langchain-一个简单的基于Langchain+RAG的应用示例-附项目源码+流程教程-优质项目实战.zip
07-22
Langchain_一个简单的基于Langchain+RAG的应用示例_附项目源码+流程教程_优质项目实战
使用langchain+千问72b+m3e-large+chroma的对话机器人源码python实现
02-19
4.Retrieval-Augmented Generation，简称RAG的实现方式 5.文档分割、拆分 6.高级prompt的实现方法 7.从搭建知识库到高级检索在到形成chain链最后输出的全流程 其他说明 易于集成：设计简洁的集成流程，轻松集成到...
大模型从入门到应用——LangChain：记忆（Memory）-[记忆的存储与应用]
冯·诺依曼
08-15 5722
Zep 是一个存储、摘要、嵌入、索引和丰富对话式人工智能聊天历史记录的工具，并通过简单、低延迟的API进行访问。[3] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架：http://www.cnlangchain.com/[2] LangChain 🦜️🔗 中文网，跟着LangChain一起学LLM/GPT开发：https://www.langchain.com.cn/[1] LangChain官方网站：https://www.langchain.com/
机器学习与人工智能
最新发布
zgw555555的专栏
07-22 595
人工智能（AI）定义：人工智能是一种模拟人类智能的技术，旨在使计算机或机器能够执行通常需要人类智能才能完成的任务，如语音识别、图像识别、自然语言处理、决策制定等。特点：人工智能是一个广泛的概念，它涵盖了多种技术和方法，包括机器学习、深度学习、自然语言处理、计算机视觉等。人工智能的目标是使机器具备类似甚至超越人类的智能水平。机器学习（ML）定义：机器学习是人工智能的一个子领域，它专注于使用算法和统计模型让计算机从数据中自动学习并改进其性能，而无需进行明确的编程。
探索数据的内在结构：使用Scikit-Learn确定聚类数
2401_85761762的博客
07-19 585
通过本文的介绍，你应该对如何在sklearn中确定聚类数有了基本的了解。选择合适的聚类数是聚类分析的关键步骤，通过使用sklearn提供的工具，可以有效地提高聚类分析的效果。请注意，本文提供了一个关于如何在sklearn中确定聚类数的概述，包括代码示例和关键概念的解释。通过本文，我们希望能够帮助读者掌握sklearn中确定聚类数的方法，并在自己的项目中应用这些技术来提升聚类分析的效果。为了更深入地了解聚类分析和确定聚类数的方法，推荐阅读相关的书籍和论文，以及sklearn的官方文档。
CatBoost模型Python代码——用CatBoost模型实现机器学习
qq_41698317的博客
07-18 275
亲测可用。CatBoost模型Python代码——用CatBoost模型实现机器学习。CatBoost（Categorical Boosting）是一种基于梯度提升的机器学习算法，特别适用于处理具有类别特征的数据集。它可以用于分类、回归和排序任务，并且在处理具有大量类别特征的数据时表现优异。电子商务中的推荐系统客户行为分析财务风险评估医疗数据分析。
机器学习-20-基于交互式web应用框架streamlit的基础使用教程
qq_20466211的博客
07-19 156
streamlit的基础使用教程以及配合FastAPI的应用方式
使用Pytorch中从头实现去噪扩散概率模型（DDPM）
deephub
07-19 4177
以上就是我们介绍的扩散概率模型（DDPM）的实现过程。我们首先讨论了如何为生成MNIST数据创建模型，包括将图像从默认的28x28尺寸填充到32x32，以符合原论文的标准。在优化方面，我们选择了Adam优化器，并结合指数移动平均（EMA）来提高生成质量。在模型训练部分，我们遵循了一系列明确的步骤，包括数据的噪声化、利用UNET进行预测及误差优化。我们还引入了基本的检查点机制，以便在不同的训练周期中暂停和恢复训练。
机器学习 - 逻辑回归
暴力扬
07-20 870
在逻辑回归中，对数似然函数前面加负号的主要目的是为了将最大化问题转化为最小化问题，这样我们可以使用标准的优化算法（如梯度下降）来训练模型。最小化负对数似然函数即等同于最大化对数似然函数，从而找到最佳的模型参数。平均损失L−1N∑i1Nyilog⁡pi1−yilog⁡1−piL−N1​∑i1N​yi​logp​i​1−yi​log1−p​i​。
非线性支持向量机（SVM）
qq_44133607的博客
07-19 227
支持向量机（SVM）是一种用于分类和回归分析的监督学习模型。在处理非线性数据时，线性SVM可能无法很好地分离数据。为了解决这个问题，我们使用核函数将低维空间的非线性数据映射到高维空间，使得在高维空间中可以线性分离。目标是找到最优分离超平面，使得分类间隔最大。
用langchain来接RAG
01-16
langchain是一个用于处理RAG（Retrieval-Augmented Generation）模型的Python库。它提供了多种方式来使用RAG模型进行检索和生成答案。在使用langchain时，可以指定不同的chain_type来实现不同的功能。 以下是使用langchain接入RAG的示例代码： ```python from langchain import RetrievalQA, ConversationalRetrievalChain # 创建RetrievalQA对象 retriever = RetrievalQA() # 使用RetrievalQA对象进行检索和生成答案 answer = retriever.get_answer("你的问题") # 创建ConversationalRetrievalChain对象 chain = ConversationalRetrievalChain() # 使用ConversationalRetrievalChain对象进行检索和生成答案 answer = chain.get_answer("你的问题") # 指定chain_type为Stuff chain = ConversationalRetrievalChain(chain_type="Stuff") # 指定chain_type为Refine chain = ConversationalRetrievalChain(chain_type="Refine") # 指定chain_type为Map Reduce chain = ConversationalRetrievalChain(chain_type="Map Reduce") # 指定chain_type为Map re-rank chain = ConversationalRetrievalChain(chain_type="Map re-rank") ``` 通过以上代码，你可以使用langchain库中的RetrievalQA和ConversationalRetrievalChain对象来接入RAG模型，并根据需要指定不同的chain_type来实现不同的功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值