项目名称:RAG离婚小助手
报告日期:2024年8月18日
项目负责人:我
(嘿嘿)还是用微信昵称吧:快乐旭
NVIDIA训练营要结束了,经过几天的学习也确实学到了不少知识,但是又不知道做点啥,没有好点子,思来想去决定整个活,既简单能速通,又满足了我整活的欲望哈哈哈哈。
项目概述:
在我们日常生活中总会使用AI,但是有的时候它的回答并不令人满意,往往过于笼统。
比如这样:
好像什么都说了又什么都没说,并不能解决实际问题,那是因为这个AI并没有学习大量关于该问题的知识,基于这个问题,我利用RAG技术输入了一些法律知识进去,就能很好解决这个问题。
技术方案与实施步骤:
采用phi-3-small-128k-instruct这个模型
数据结构:txt婚姻法文档——因为txt最简单,其他法律文档也行,我这个只是个整活示例,但是法律条文作为数据的好处是非常容易处理,一条法律条文一行,条理特别清晰,很适合新手。
实施步骤:
环境:实训班给的现成的环境,我也说不清楚,但是自己还是大致统计了一下:
langchain_nvidia_ai_endpoints
getpass
openai
os
tqdm
pathlib
faiss
langchain
langchain_core
operator
实施步骤:
去Try NVIDIA NIM APIs申请一个apikey就行
import getpass
import os
if os.environ.get("NVIDIA_API_KEY", "").startswith("nvapi-"):
print("Valid NVIDIA_API_KEY already in environment. Delete to reset")
else:
nvapi_key = getpass.getpass("NVAPI Key (starts with nvapi-): ")
assert nvapi_key.startswith("nvapi-"), f"{nvapi_key[:5]}... is not a valid key"
os.environ["NVIDIA_API_KEY"] = nvapi_key
然后初始化向量模型
from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings
embedder = NVIDIAEmbeddings(model="ai-embed-qa-4")
获取数据(这里是婚姻法)——注意文件路径自己改一下
import os
from tqdm import tqdm
from pathlib import Path
# Here we read in the text data and prepare them into vectorstore
ps = os.listdir("./zh_data/")
data = []
sources = []
for p in ps:
if p.endswith('.txt'):
path2file="./zh_data/"+p
with open(path2file,encoding="utf-8") as f:
lines=f.readlines()
for line in lines:
if len(line)>=1:
data.append(line)
sources.append(path2file)
# 清楚文档空行
documents=[d for d in data if d != '\n']
处理文档并保存
from operator import itemgetter
from langchain.vectorstores import FAISS
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain.text_splitter import CharacterTextSplitter
from langchain_nvidia_ai_endpoints import ChatNVIDIA
import faiss
text_splitter = CharacterTextSplitter(chunk_size=400, separator=" ")
docs = []
metadatas = []
for i, d in enumerate(documents):
splits = text_splitter.split_text(d)
#print(len(splits))
docs.extend(splits)
metadatas.extend([{"source": sources[i]}] * len(splits))
store = FAISS.from_texts(docs, embedder , metadatas=metadatas)
store.save_local('./zh_data/nv_embedding')
重读一下,以后直接读就行,不用上面再次处理
# Load the vectorestore back.
store = FAISS.load_local("./zh_data/nv_embedding", embedder,allow_dangerous_deserialization=True)
可以提问了
retriever = store.as_retriever()
prompt = ChatPromptTemplate.from_messages(
[
(
"system",
"Answer solely based on the following context:\n<Documents>\n{context}\n</Documents>",
),
("user", "{question}"),
]
)
chain = (
{"context": retriever, "question": RunnablePassthrough()}
| prompt
| llm
| StrOutputParser()
)
chain.invoke("怎么离婚?")
结果展示:
比之前好多了嘿嘿
问题与解决方案:
毕竟是速通,能跑就行,问题肯定是有的
1.文本如果过多,处理速度变慢,可以修改并提供高质量数据
2.txt文本过于单一,并不支持所有类型数据,这个还要做数据处理
3.文本手动添加,也许可以试一试爬虫
项目总结与展望:
这次训练营学了很多东西,未来可以尝试使用Gradio整个页面看看,也可以试一试用生成语音回答,还有就是我觉得法律条文的逻辑结构刚好适合RAG来处理哈哈哈。
参考资料:
(真有人学代码去看婚姻法吗?)狗头