DeepSeek+LangChain：家教式全流程RAG实战指南

最新推荐文章于 2025-04-02 11:19:21 发布

Python编程杰哥

最新推荐文章于 2025-04-02 11:19:21 发布

阅读量709

点赞数 28

文章标签： langchain AIGC 人工智能 java 算法语言模型

本文链接：https://blog.csdn.net/xx_nm98/article/details/146052376

版权

ℹ️RAG全称是Retrieval-Augmented Generation(检索增强生成)，一句话解释就是：把问题和相应的参考资料一起给大模型，以期望得到效果更好的模型表现。

ℹ️LangChain包含用于开发大语言模型应用的各种功能组件，不仅仅是RAG，所以相较于RAGFlow、HayStack等专门为RAG设计的框架来说，功能更为丰富，更“笨重”，学习门槛更高。

第一步，环境准备

参见requirements.txt。主要Python库：

第二步，模型调用

这里使用的DeepSeek官方提供的API。访问DeepSeek开放平台(https://platform.deepseek.com)，创建API_KEY，有免费token额度，如果使用量比较大则需要充值：

DeepSeek采用和openai兼容的API格式，上图为设置相应环境变量。

然后就可以使用模型了，deepseek-chat代表DeepSeek-V3，如果使用DeepSeek-R1则名称填写为deepseek-reasoner:

第三步，文档加载与分割

文档不限制格式，这里以pdf为例：

ℹ️加载后的文档为Document对象。page_content属性保存的是文档内容，metadata属性保存的是文档元信息，比如来源、创建时间等。

ℹ️将文档切割成文档片段(chunks)，方便存储、向量化与精确检索，每个片段仍然是Document对象，即一个个更小的文档。切割时可以设置每个片段的长度、重叠字符数(chunk_overlap)、切割标识符等参数，其中重叠字符数即相邻片段会有一定的重叠，这是为了避免把段落切得“太碎”，保持语义完整。

第四步，文本嵌入与向量化存储

第二步切割后的文档片段，使用文本嵌入模型(embedding model)将其映射为包含语义信息的向量，然后保存到向量数据库中。嵌入模型和向量数据库都有多种选择，这里使用阿里云百炼的text-embedding-v2嵌入模型和FAISS向量数据库作为示例：

申请阿里云百炼API key(https://bailian.console.aliyun.com/)并设置环境变量：

第五步，重排(ReRank)

在文本被嵌入成固定长度的向量后，会丢失一些信息，为了得到更准确的与prompt(即向量检索时的query)相关的文本，就要在向量检索后再利用重排模型对检索结果进行更精细的语义分析，重新排序，达到筛选出最相关信息和减少无关上下文的目的。

重排模型这里使用北京智源人工智能研究院的BAAI/bge-reranker-large，在Hugging Face上这是最热门的ReRank模型之一。

ℹ️LangChain已经集成了阿里云百炼的相关Python库，所以在第三步文本嵌入时我们直接使用了一个现成的嵌入模型调用接口DashScopeEmbeddings

⚠️而在重排时使用BAAI/bge-reranker-large则需要我们自己实现重排的相关逻辑，不过过程也很简单：

1.继承BaseDocumentCompressor

2.实现compress_documents方法

然后组合向量检索器和重排器：

第六步，设计提示词模板

这里构造提示词模板时，将提示词分为了两部分，一个是系统消息(system，用来表达上下文内容)，另一个是用户消息(user，用来表达用户问题)，其中context占位符用来填充从第四步中检索到的相关上下文，question占位符用来填充具体的问题。

第七步，构建链

LangChain中的chain最大特点即是把处理流程连接起来，前一步的输出作为后一步的输入，类似于管道操作，如SparkML中的pipeline或者Linux中的管道符。

⚠️一般用来构建链的对象是属于Runnable类型的。Runnable相当于抽象基类或者接口。

1.使用RunnableParallel组合上下文和问题，其中ccr即是第四步中检索加重排后得到的上下文

2.构建链

✅流程逻辑：

1️⃣retriever，用户输入的问题同时传给了ccr和RunnablePassthrough，ccr即检索加重排得到上下文，RunnablePassthrough不做操作返回问题

2️⃣chat_prompt，接收retriver传来的上下文和问题，填充提示词模版中的对应占位符得到完整提示词

3️⃣chat_llm，接收到完整提示词，进行模型推理

4️⃣CustomParser(),对模型推理返回的答案进行格式化

第八步，进行推理

LangChain中使用invoke方法执行链或模型。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述