构建RAG应用

最新推荐文章于 2024-09-17 23:15:58 发布

不戳的柠檬

最新推荐文章于 2024-09-17 23:15:58 发布

阅读量487

点赞数 4

文章标签： python langchain 语言模型

本文链接：https://blog.csdn.net/q2544048170/article/details/138172545

版权

构建RAG应用

提出问题

1.RAG应用是指大模型使用知识库文件给出更准确的回复，那么llm使用文件的具体原理是什么?

2.RAG应用会不会额外增加大模型使用的token数量?

3.大模型能够接受的token都有数量上的限制，RAG的memory储存对话机制是如何处理这个问题的？

4.针对向量数据库检索的返回结果，大模型如何设计方法或者prompt对结果进行进一步的优化，得到更加准确的回复？

自问自答:

1,2:对于知识库的检索不是由大模型执行的，而是向量数据库本身执行的，所以只会增加搜索结果的Token数量。

3.memory机制的示意图如下，可以看到prompt输入的参数被分为了

past和question这两种，这样子可以使得模型具有连续对话的能力。

4.查询到一部分的优化方向为调整文档的分割方式，如何精确的分割文本直接能够影响到大模型回答RAG的结果。其他的方向仍待探索。

在这里插入图片描述

使用LangChain构建RAG应用

定义数据库，llm等变量

import os
import sys 
from dotenv import load_dotenv, find_dotenv
sys.path.append("../C3 搭建知识库") # 将父目录放入系统路径中
# 使用智谱 Embedding API
from zhipuai_embedding import ZhipuAIEmbeddings

from langchain.vectorstores.chroma import Chroma

# 定义 Embeddings
embedding = ZhipuAIEmbeddings() # 也可为百度,openai等api


_ = load_dotenv(find_dotenv())    # read local .env file
zhipuai_api_key = os.environ['ZHIPUAI_API_KEY']

# 向量数据库持久化路径
persist_directory = '../C3 搭建知识库/data_base/vector_db/chroma'

# 加载数据库
vectordb = Chroma(
    persist_directory=persist_directory,  # 允许我们将persist_directory目录保存到磁盘上
    embedding_function=embedding
)

# 定义llm 本次示例使用chatgpt
OPENAI_API_KEY = os.environ["OPENAI_API_KEY"]

from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model_name = "gpt-3.5-turbo", temperature = 0)

创建有记忆的RAG应用

模型记忆上下文的原理可以看自问自答部分的原理图，本质是将过去的对话以及当前的问题融入一个prompt中。

from langchain.memory import ConversationBufferMemory
from langchain.chains import ConversationalRetrievalChain

memory = ConversationBufferMemory(
    memory_key="chat_history",  # 与 prompt 的输入变量保持一致。
    return_messages=True  # 将以消息列表的形式返回聊天记录，而不是单个字符串
)  


retriever=vectordb.as_retriever()

qa = ConversationalRetrievalChain.from_llm(
    llm,
    retriever=retriever,
    memory=memory
)
question = "我可以学习到关于提示工程的知识吗？"
result = qa({"question": question})
print(result['answer'])

response

是的，您可以学习到关于提示工程的知识。本模块内容基于吴恩达老师的《Prompt Engineering for Developer》课程编写，旨在分享使用提示词开发大语言模型应用的最佳实践和技巧。课程将介绍设计高效提示的原则，包括编写清晰、具体的指令和给予模型充足思考时间等。通过学习这些内容，您可以更好地利用大语言模型的性能，构建出色的语言模型应用。

result变量的结构，可以溯源到搜索产生的文档
在这里插入图片描述