【程序员AI入门：开发】11.从零构建智能问答引擎：LangChain + RAG 实战手册-CSDN博客

本文链接：https://blog.csdn.net/RickyIT/article/details/147860778

在这里插入图片描述

1、技术选型

组件	推荐方案	说明
文本嵌入模型	`sentence-transformers/all-MiniLM-L6-v2`	轻量级且效果较好的开源模型
向量数据库	FAISS	高效的本地向量检索库
大语言模型	GPT-3.5/开源LLM（如ChatGLM3）	根据资源选择云端或本地模型
文档处理框架	LangChain	简化RAG流程开发

2、环境准备

# 安装核心依赖
pip install langchain sentence-transformers faiss-cpu unstructured python-dotx

3、 RAG 核心流程

1、文档准备

在docs/目录存放知识文档（支持.txt/.md/.pdf等格式）
示例文档内容：

特斯拉2023年Q1交付量42.3万辆，Q2交付46.6万辆，Q3交付43.5万辆，Q4交付48.45万辆。

2、索引（Indexing）

将数据预处理并存储为向量。
在这里插入图片描述

3、检索生成（Retrieval & Generation）：

根据查询检索相关上下文，生成回答。
在这里插入图片描述

4、索引实现步骤

a. 加载文档

使用 TextLoader 加载文本文件：

from langchain_community.document_loaders import TextLoader  
loader = TextLoader("introduction.txt")  
docs = loader.load()

b. 拆分文本

使用 RecursiveCharacterTextSplitter 按块拆分：

from langchain.text_splitter import RecursiveCharacterTextSplitter  
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)  
splits = text_splitter.split_documents(docs)

c. 向量化与存储

初始化 Chroma 向量数据库，使用 OpenAI Embedding：

from langchain_chroma import Chroma  
from langchain_openai import OpenAIEmbeddings  
vectorstore = Chroma(  
    collection_name="ai_learning",  
    embedding_function=OpenAIEmbeddings(),  
    persist_directory="vectordb"  
)  
vectorstore.add_documents(splits)

5、检索生成实现步骤

a. 构建 Retriever

从向量库创建检索器：

retriever = vectorstore.as_retriever(search_type="similarity")

b. 提示词模板

定义系统提示词，指导模型结合上下文生成答案：

from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder  
prompt = ChatPromptTemplate.from_messages([  
    ("system", """  
        You are an assistant for question-answering tasks.  
        Use the retrieved context to answer. If unsure, say you don't know.  
        Keep answers concise (≤3 sentences).  
        Context: {context}  
    """),  
    MessagesPlaceholder(variable_name="history"),  
    ("human", "{question}")  
])

c. 组装处理链

将检索、上下文格式化、提示词和大模型串联：

from operator import itemgetter  
from langchain_core.runnables import RunnablePassthrough  
context = itemgetter("question") | retriever | format_docs  
first_step = RunnablePassthrough.assign(context=context)  
chain = first_step | prompt | trimmer | model  # model为ChatOpenAI实例

6、核心组件与概念

DocumentLoader：加载文本、数据库、网页等数据源。
TextSplitter：按语义或结构拆分文档（如代码、普通文本）。
VectorStore：统一接口支持多种向量数据库（Chroma、Pinecone等）。
Retriever：抽象检索逻辑，支持向量搜索、关键词匹配等。
提示词工程：通过模板控制生成逻辑，平衡上下文与简洁性。

7、关键代码片段

格式化检索结果：

def format_docs(docs):  
    return "\n\n".join(doc.page_content for doc in docs)

动态历史会话管理：

store = {}  
def get_session_history(session_id: str) -> BaseChatMessageHistory:  
    if session_id not in store:  
        store[session_id] = InMemoryChatMessageHistory()  
    return store[session_id]