快速上手LangChain（三）构建检索增强生成（RAG）应用

快速上手LangChain（三）构建检索增强生成（RAG）应用

langchain官方文档：https://python.langchain.ac.cn/docs/tutorials/rag/

概述

典型的 RAG 应用程序有两个主要组件

• 索引：一个从源头摄取数据并对其进行索引的管道。这通常离线进行。

• 检索和生成：实际的 RAG 链，它在运行时获取用户查询，从索引中检索相关数据，然后将其传递给模型。

索引

• 加载：首先我们需要加载数据。这可以使用文档加载器完成。
• 拆分：文本拆分器将大型 Documents 分成更小的块。这对于索引数据和将其传递到模型中都很有用，因为大的块更难搜索，并且无法容纳在模型的有限上下文窗口中。
• 存储：我们需要一个地方来存储和索引我们的拆分，以便稍后可以搜索它们。这通常使用向量存储和嵌入模型完成。

由于原始文档过大，超出了LLM的上下文窗口，需要将其分块才能让LLM识别。LangChain 提供了许多内置的文本分块工具，例如 CharacterTextSplitter

总结：RAG需要从向量数据库检索上下文然后输入LLM进行生成，因此需要提前将文本数据向量化并存储到向量数据库。

阿里嵌入模型 Embedding

Embedding（也称为嵌入）是将文本、图片或音视频等数据转化为向量（数字序列）的一种方法。向量的特点在于可以用数学方式表示数据间的关系，向量之间的距离代表数据的相关性。距离越小，相关性越高；距离越大，相关性越低。

通用文本向量，是通义实验室基于LLM底座的多语言文本统一向量模型，面向全球多个主流语种，提供高水准的向量服务，帮助开发者将文本数据快速转换为高质量的向量数据。

通义官方文档：https://help.aliyun.com/zh/model-studio/user-guide/embedding
langchain相关代码：libs/community/langchain_community/embeddings/dashscope.py

检索和生成

• 检索：给定用户输入，使用检索器从存储中检索相关拆分。
• 生成：聊天模型 / LLM 使用包含问题和检索数据的提示来生成答案

一旦我们索引了数据，我们将使用LangGraph作为我们的编排框架来实现检索和生成步骤。

RAG应用（demo：根据我的博客主页，分析一下我的技术栈）

langchain官方文档：https://python.langchain.ac.cn/docs/tutorials/rag/

我们将构建一个应用程序，该应用程序可以回答有关网站内容的问题。我们将使用的特定网站是 Lilian Weng 的LLM Powered Autonomous Agents博客文章，这使我们可以询问有关该文章内容的问题。

这里我们把官方demo改造一下，指定我们自己的一篇博客文章，使用阿里的嵌入模型进行向量化，细节上做了一点优化。

1. 安装依赖

pip install --upgrade langchain-text-splitters langchain-community

2. 下载&加载语料

loader = WebBaseLoader(
    web_paths=(