这里写目录标题
![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/2af02c3961034df3b024a98cf3ee4948.jpeg#pic_center)
理论
问答过程的三个主要阶段
问答增强(RAG)系统中的问答过程涉及三个主要阶段:
- 查询接收(Query Reception):接收用户的自然语言查询。
- 文档检索(Document Retrieval):基于查询内容从文档集合中检索相关文档。
- 答案生成(Answer Generation):利用语言模型从检索到的文档中生成答案。
传递文档片段至 LM 上下文窗口的局限性及策略
传递所有检索到的文档片段到语言模型(LM)上下文窗口的局限性包括上下文窗口大小的限制,这可能导致相关信息的丢失。为了克服这一限制,可以采用以下两种策略:
- MapReduce:用于快速聚合来自多个文档的信息。
- Refine:允许按顺序逐步完善答案,适用于需要高度准确性的情况。
向量数据库的重要性
在 RAG 系统中使用向量数据库(VectorDB)进行文档检索的重要性在于它能高效地存储和检索文档嵌入,从而实现对用户查询相关文档的快速准确检索。
RetrievalQA 链的作用
RetrievalQA 链通过结合文档检索与问答来工作,它利用语言模型根据检索到的文档内容生成答案,提高了答案的相关性和准确性。
MapReduce 与 Refine 的区别
- MapReduce:专为从多个文档中快速聚合信息设计。
- Refine:允许答案的逐步完善,适用于需要高度准确性的任务。
选择哪种技术取决于具体任务的需求。
分布式系统中的实际考量
当在分布式系统中实施 MapReduce 或 Refine 技术时,需要注意网络延迟和数据序列化成本等因素,以确保高效的数据传输和处理。
实验的重要性
在 RAG 系统中实验 MapReduce 和 Refine 技术至关重要,因为它们的有效性会根据数据特性和问答任务的不同而变化。实验可以帮助确定哪种技术最适合特定的应用场景。
RetrievalQA 链的主要限制
RetrievalQA 链的一个主要限制是无法保留对话历史记录,这会影响后续查询的流程,使得维持对话上下文和连贯性变得困难。
对话记忆的重要性
将对话记忆集成到 RAG 系统中非常重要,因为它能让系统记住之前的交互,提高系统与用户进行有意义对话的能力,提供情境感知的回答。
实践
初始化向量数据库
from langchain.vectorstores import Chroma
from langchain.embeddings.openai import OpenAIEmbeddings
def initialize_vector_database(directory_path):
# 初始化使用 OpenAI 嵌入的嵌入生成器
embeddings_generator = OpenAIEmbeddings()
# 使用指定的存储目录和嵌入函数初始化向量数据库
vector_database = Chroma(persist_directory=directory_path, embedding_function=embeddings_generator)
# 显示向量数据库中的当前文档计数以验证初始化
document_count = vector_database._collection.count() # 假设 Chroma 实现提供了 count 方法
print(f"向量数据库中的文档数量: {document_count}")
# 示例使用:
documents_storage_directory = 'path/to/your/directory'
initialize_vector_database(documents_storage_directory)
设置 RetrievalQA 链
from langchain.vectorstores import Chroma
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.chat_models import ChatOpenAI
from langchain.chains import RetrievalQA
from langchain.prompts import PromptTemplate
def setup_retrieval_qa_chain(model_name, documents_storage_directory):
# 初始化嵌入生成器和向量数据库
embeddings_generator = OpenAIEmbeddings()
vector_database = Chroma(persist_directory=documents_storage_directory, embedding_function=embeddings_generator)
# 初始化语言模型
language_model = ChatOpenAI(model_name=model_name, temperature=0)
# 自定义提示模板
custom_prompt_template = """为了更好地回答询问,请考虑下面提供的细节作为参考...
{context}
询问: {question}
洞察性的回答: """
# 初始化 RetrievalQA 链
question_answering_chain = RetrievalQA.from_chain_type(
language_model,
retriever=vector_database.as_retriever(),
return_source_documents=True,
chain_type_kwargs={"prompt": PromptTemplate.from_template(custom_prompt_template)}
)
return question_answering_chain
# 示例使用:
model_name = "gpt-3.5-turbo"
documents_storage_directory = 'path/to/your/documents'
qa_chain = setup_retrieval_qa_chain(model_name, documents_storage_directory)
使用 MapReduce 和 Refine 技术
# 假设 `setup_retrieval_qa_chain` 函数已在同一脚本中定义或被导入
# 使用相同模型和文档存储目录设置两种技术
model_name = "gpt-3.5-turbo"
documents_storage_directory = 'path/to/your/documents'
qa_chain = setup_retrieval_qa_chain(model_name, documents_storage_directory)
# 配置 MapReduce 和 Refine 的问答链
question_answering_chain_map_reduce = RetrievalQA.from_chain_type(
qa_chain.language_model,
retriever=qa_chain.retriever,
chain_type="map_reduce"
)
question_answering_chain_refine = RetrievalQA.from_chain_type(
qa_chain.language_model,
retriever=qa_chain.retriever,
chain_type="refine"
)
# 示例查询
query = "概率在机器学习中的重要性是什么?"
# 执行 MapReduce 技术
response_map_reduce = question_answering_chain_map_reduce({"query": query})
print("MapReduce 答案:", response_map_reduce["result"])
# 执行 Refine 技术
response_refine = question_answering_chain_refine({"query": query})
print("Refine 答案:", response_refine["result"])
处理对话上下文
def handle_conversational_context(initial_query, follow_up_query, qa_chain):
"""
模拟处理后续问题的情境。
参数:
- initial_query: 第一个用户查询。
- follow_up_query: 后续用户查询。
- qa_chain: 已初始化的问答链。
返回: 无。打印两个查询的答案。
"""
# 生成对初始查询的回答
initial_response = qa_chain({"query": initial_query})
print("对初始查询的回答:", initial_response["result"])
# 生成对后续查询的回答
follow_up_response = qa_chain({"query": follow_up_query})
print("对后续查询的回答:", follow_up_response["result"])
# 示例使用 (假设已设置 question_answering_chain):
initial_query = "概率在统计学中的重要性是什么?"
follow_up_query = "它是如何应用于现实世界问题的?"
# handle_conversational_context(initial_query, follow_up_query, qa_chain)