使用RAG技术构建企业级文档问答系统之基础流程

最新推荐文章于 2024-08-06 18:56:41 发布

大靠山

最新推荐文章于 2024-08-06 18:56:41 发布

阅读量687

点赞数 9

文章标签：人工智能算法百度 python 深度学习机器学习

本文链接：https://blog.csdn.net/m0_59235245/article/details/140672867

版权

1 概述

本文是本系列（使用RAG技术构建企业级文档问答系统）的第二篇，将介绍检索增强生成（Retrieval Augmented Generation，简称RAG）最基础流程。

所谓检索增强生成，是大语言模型兴起之后发展迅速的一个应用领域，简单说就是，这项技术，可以根据用户输入的问题，从文档（如PDF、Word、PPT、TXT、网页等）中自动检索跟问题相关的文本片段（或称为知识片段、上下文），然后将一段指令、用户输入的问题、文本片段拼装成一个Prompt（也就是大语言模型的输入），让大语言模型生成一个回答。

在ChatGPT最初发布的时候，回答问题主要还是依赖ChatGPT训练时的知识，由此导致了三个显著问题：

知识陈旧：也就是新发生的事情，它是没办法回答的
幻觉：也就是编造与事实不符的回答
没有办法让ChatGPT基于自己独有的，如个人积累的或者企业内部积累的知识文档回答问题，只能基于已经公开的信息回答

根据RAG所检索对象的不同，大致可以分成2类，但底层的技术其实是高度相似的：

知识库问答：主要是检索企业内部一系列文档，比如Word、PDF、Wiki、Confluence等，或者企业自建的知识管理平台。很多企业其实积累了非常多的内部文档，传统方式只能使用关键词，或者特定类目检索，效率低下，使用RAG后可以高效快速地直接返回答案，当然这个地方也有它自己的坑，先按下不表，后面有机会再细谈
联网搜索问答：这个主要是检索整个互联网，最典型代表就是Perplexity，国内的典型产品像秘塔AI搜索、天工AI、360AI搜索等，其实也是检索文档，但会首先借助搜索引擎API，获取一个网页列表，然后再对每个网页执行加载、切分、向量化操作，这个之前已经有一篇文章介绍了，感兴趣的朋友可以访问

[使用Ollama和Langchain动手开发AI搜索问答助手]
上面反复提到了知识库，在RAG的流程中，知识库会经历下面4个步骤处理，如下图所示：

加载：可以简单理解成把文档读取成字符串
切分：按照特定长度，把文档切分成文本片段，做这一步是因为，后面要使用向量模型将切分后的文本片段（其实就是段落或者句子）转换成向量，由于向量模型输入长度限制，所以这一步必须按照特定长度切分
向量化：这一步会使用一个向量模型，将一个句子转换成一个向量，跟word2vec模型其实不是一个东西，word2vec模型是把一个字符或者一个词，转换成一个向量，而在RAG中说的向量模型，是把句子转换成向量，这样后续就可以使用向量计算，来比较句子之间的相似性，所谓RAG中的检索，很大程度是依赖向量，所以这块很重要
向量存储：这一步一般会使用向量库存储向量化好的文本片段，以及一些元数据信息，如文件名、ID之类的，向量库是类似MySQL、PostgreSQL一样的一个数据库，只不过它专注于存储向量，典型的有Milvus、FAISS、Chroma、Qdrant、Pinecone、Weatiate、PGVector等

知识库处理好，保存到向量库之后，当用户提问时，会将用户问题也进行向量化，然后拿用户问题向量，去向量库中，使用余弦相似度（只是原理，后续后再详细展开），检索到最相似的一些句子，然后将用户问题、检索到的相似句子，一同组成一个Prompt，输入大模型，生成答案，如下图所示：

下面将构建这个完整流程。

本文代码已经开源，地址在：https://github.com/Steven-Luo/MasteringRAG/blob/main/01_baseline.ipynb

2 环境准备

下面代码中所使用到的数据，可以在代码仓库中找到

其余部分主要分3步：

安装Python包
准备Ollama，安装好Ollama之后，使用ollama pull qwen2:7b-instruct下载模型
下载向量模型BAAI/bge-large-zh-v1.5，这步可选，也可以在执行代码时自动下载，但需要确保能够访问到HuggingFace

上面的模型，都可以在本地运行，建议至少预留8GB的内存。

代码在Google Colab环境下进行了测试，正常情况下，安装Anaconda基本上会包含大部分所用到的包，再安装如下包即可：

pip install -U langchain langchain\_community pypdf sentence\_transformers chromadb

所安装包的版本

import langchain, langchain\_community, pypdf, sentence\_transformers, chromadb  
  
for module in (langchain, langchain\_community, pypdf, sentence\_transformers, chromadb):  
    print(f"{module.\_\_name\_\_:<30}{module.\_\_version\_\_}")

langchain                     0.2.10  
langchain\_community           0.2.9  
pypdf                         4.3.1  
sentence\_transformers         3.0.1  
chromadb                      0.5.4

import os  
import pandas as pd  
  
from langchain\_community.vectorstores import Chroma  
  
\# 如果已经下载到本地，可以替换为本地路径  
EMBEDDING\_MODEL\_PATH = 'BAAI/bge-large-zh-v1.5'  
dt = '20240713'  
version = 'v1'  
  
output\_dir = os.path.join('outputs', f'{version}\_{dt}')

加载数据集，包含问题、回答、所使用的文档片段，因此，使用这个数据集，可以对检索、生成效果进行测试

qa\_df = pd.read\_excel(os.path.join(output\_dir, 'question\_answer.xlsx'))

3 文档处理

3.1 文档加载

此处使用PyPDF这个库进行加载，处理PDF的库还有很多，后面会专门出一篇文章进行介绍。

from langchain\_community.document\_loaders import PyPDFLoader  
  
loader = PyPDFLoader("data/2024全球经济金融展望报告.pdf")  
documents = loader.load()

3.2 文档切分

在企业内部，一般知识库会比较庞大，每次都重新切分会比较耗时，因此，对切分后的文档片段也可以保存，方便下次再加载

from uuid import uuid4  
import os  
import pickle  
  
from langchain.text\_splitter import RecursiveCharacterTextSplitter  
  
def split\_docs(documents, filepath, chunk\_size=400, chunk\_overlap=40, seperators=\['\\n\\n\\n', '\\n\\n'\], force\_split=False):  
    if os.path.exists(filepath) and not force\_split:  
        print('found cache, restoring...')  
        return pickle.load(open(filepath, 'rb'))  
  
    splitter = RecursiveCharacterTextSplitter(  
        chunk\_size=chunk\_size,  
        chunk\_overlap=chunk\_overlap,  
        separators=seperators  
    )  
    split\_docs = splitter.split\_documents(documents)  
    for chunk in split\_docs:  
        chunk.metadata\['uuid'\] = str(uuid4())  
  
    pickle.dump(split\_docs, open(filepath, 'wb'))  
  
    return split\_docs  
      
splitted\_docs = split\_docs(documents, os.path.join(output\_dir, 'split\_docs.pkl'), chunk\_size=500, chunk\_overlap=50)

3.3 向量化

加载向量模型

from langchain.embeddings import HuggingFaceBgeEmbeddings  
import torch  
  
device = 'cuda' if torch.cuda.is\_available() else 'cpu'  
print(f'device: {device}')  
  
embeddings = HuggingFaceBgeEmbeddings(  
    model\_name=EMBEDDING\_MODEL\_PATH,  
    model\_kwargs={'device': device},  
    encode\_kwargs={'normalize\_embeddings': True}  
)

将文档向量化，并使用Chroma持久化

from tqdm.auto import tqdm  
  
def get\_vector\_db(docs, store\_path, force\_rebuild=False):  
    if not os.path.exists(store\_path):  
        force\_rebuild = True  
  
    if force\_rebuild:  
        vector\_db = Chroma.from\_documents(  
            docs,  
            embedding=embeddings,  
            persist\_directory=store\_path  
        )  
    else:  
        vector\_db = Chroma(  
            persist\_directory=store\_path,  
            embedding\_function=embeddings  
        )  
    return vector\_db

跟上方的文档切分类似，企业知识库通常会比较庞大，如果每次都重新向量化，会非常耗时，因此，可以将向量化后的文档片段持久化

vector\_db = get\_vector\_db(splitted\_docs, store\_path=os.path.join(output\_dir, 'chromadb', 'bge\_large\_v1.5'))

4 检索

Langchain提供了比较方便的API，使用下方的函数即可完成检索

def retrieve(vector\_db, query: str, k=5):  
    return vector\_db.similarity\_search(query, k=k)

为了方便后续对文档问答效果进行优化，此处对中间环节——检索，进行评估。

注意，一般这一步评估也是比较麻烦的，因为文档问答，答案来源于文档片段，如果回答错误，不能说明检索一定错误，反过来，如果答案正确，那么在检索环节，只要正确回答的文本“来自”所检索的文档片段，就应该算检索正确，但具体回答是否“来自”文档片段时，有技术上的问题，具体来说，有以下几点：

不能直接拿字符串匹配，因为生成的答案经过了大模型的加工，不能保整与检索的文档片段中的文字一字不差
使用向量模型，将两者转换成向量，计算向量相似度，但这样面临卡阈值的问题，到底阈值多少算是答案参考了知识片段
使用字符串模糊匹配的方式，也有跟计算向量相似度类似的卡阈值问题
最终答案可能来源于原本相连的段落，但由于文档切分，将整个段落切分到了两个文档片段，这样虽然可能最后回答正确，但单独拿出每一个片段来，跟答案的相似度可能都不高

后面会出一篇专门的文章，专门介绍文档问答的检索、回答的性能。

回到本文，由于在构造“问题-回答”对时，特意记录了所使用的文档片段，这样就可以直接用这个文档片段的UUID计算，避免了上面的问题。

具体到检索的性能，一般使用HitRate进行评估，其中为测试集总数，第条数据检索命中时为1，否则为0。

由于知识片段本身的相似性比较高，因此，只检索一条一般是没法回答问题的。一般会检索Top-K个知识片段。具体到指标计算，就是对于每一条测试数据，检索个知识片段，只要有一个检索命中，那就为1，否则为0。

下面是Top1~Top8的HitRate计算：

test\_df = qa\_df\[(qa\_df\['dataset'\] == 'test') & (qa\_df\['qa\_type'\] == 'detailed')\]  
  
\# 计算Top1~Top8的HitRate  
top\_k\_arr = list(range(1, 9))  
hit\_stat\_data = \[\]  
  
for idx, row in tqdm(test\_df.iterrows(), total=len(test\_df)):  
    question = row\['question'\]  
    true\_uuid = row\['uuid'\]  
    chunks = retrieve(vector\_db, question, k=max(top\_k\_arr))  
    retrieved\_uuids = \[doc.metadata\['uuid'\] for doc in chunks\]  
  
    for k in top\_k\_arr:  
        hit\_stat\_data.append({  
            'question': question,  
            'top\_k': k,  
            'hit': int(true\_uuid in retrieved\_uuids\[:k\])  
        })  
          
hit\_stat\_df = pd.DataFrame(hit\_stat\_data)  
hit\_stat\_df.sample(5)

|
| question | top_k | hit |
| — | — | — | — |
| 489 | 美元的走势如何变化？ | 2 | 1 |
| 682 | 美联储加息对美国房地产市场风险排名产生了什么影响？ | 3 | 0 |
| 344 | 预计2023年欧元区的经济增速大概是多少? | 1 | 0 |
| 230 | 2023年前8个月全球货物贸易量指数的变化情况如何？ | 7 | 1 |
| 444 | 美联储在2月1日的基点变动了多少? | 5 | 1 |

检索HitRate计算

import seaborn as sns  
  
hit\_stat\_df.groupby('top\_k')\['hit'\].mean().reset\_index()

sns.barplot(x='top\_k', y='hit', data=hit\_stat\_df.groupby('top\_k')\['hit'\].mean().reset\_index())

大家可以稍微留意一下这个指标，后续会陆续对检索进行优化，大家到时可以直观地观察到检索性能的提升。

5 问答

下面就是综合向量库、检索的完整问答流程了。

5.1 使用LCEL

这一步演示如何使用Langchain Expression Language，这种方式整个代码会相对简洁，但如果对流程不熟悉，遇到bug不好调试。

5.1.1 流式输出

from langchain.llms import Ollama  
from langchain\_core.output\_parsers import StrOutputParser  
from langchain\_core.runnables import RunnablePassthrough  
from langchain\_core.prompts import PromptTemplate  
  
def format\_docs(docs):  
    return "\\n\\n".join(doc.page\_content for doc in docs)  
  
llm = Ollama(  
    model='qwen2:7b-instruct',  
    base\_url="http://localhost:11434"  
)  
  
prompt\_tmpl = """  
你是一个金融分析师，擅长根据所获取的信息片段，对问题进行分析和推理。  
你的任务是根据所获取的信息片段（<<<<context>>><<<</context>>>之间的内容）回答问题。  
回答保持简洁，不必重复问题，不要要添加描述性解释和与答案无关的任何内容。  
已知信息：  
<<<<context>>>  
{context}  
<<<</context>>>  
  
问题：{question}  
请回答：  
"""  
prompt = PromptTemplate.from\_template(prompt\_tmpl)  
retriever = vector\_db.as\_retriever(search\_kwargs={'k': 4})  
  
rag\_chain = (  
    {"context": retriever | format\_docs, "question": RunnablePassthrough()}  
    | prompt  
    | llm  
    | StrOutputParser()  
)  
  
for chunk in rag\_chain.stream("2023年10月美国ISM制造业PMI指数较上月有何变化？"):  
    print(chunk, end="", flush=True)

输出

2023年10月美国ISM制造业PMI指数较上个月大幅下降2.3个百分点。

5.1.2 非流式输出

print(rag\_chain.invoke('2023年10月美国ISM制造业PMI指数较上月有何变化？'))

输出

2023年10月美国ISM制造业PMI指数较上个月大幅下降2.3个百分点。

5.2 流程拆解

下面对整个过程，拆解成常规的Python代码：

def rag(query, n\_chunks=5):  
    prompt\_tmpl = """  
你是一个金融分析师，擅长根据所获取的信息片段，对问题进行分析和推理。  
你的任务是根据所获取的信息片段（<<<<context>>><<<</context>>>之间的内容）回答问题。  
回答保持简洁，不必重复问题，不要要添加描述性解释和与答案无关的任何内容。  
已知信息：  
<<<<context>>>  
  
<<<</context>>>  
  
问题：  
请回答：  
""".strip()  
  
    chunks = retrieve(vector\_db, question, k=n\_chunks)  
    prompt = prompt\_tmpl.replace('', '\\n\\n'.join(\[doc.page\_content for doc in chunks\])).replace('', query)  
  
    return llm(prompt), \[doc.page\_content for doc in chunks\]

prediction\_df = qa\_df\[qa\_df\['dataset'\] == 'test'\]\[\['uuid', 'question', 'qa\_type', 'answer'\]\]  
  
answer\_dict = {}  
for idx, row in tqdm(prediction\_df.iterrows(), total=len(prediction\_df)):  
    uuid = row\['uuid'\]  
    question = row\['question'\]  
    answer, context = rag(question, n\_chunks=4)  
    answer\_dict\[question\] = {  
        'uuid': uuid,  
        'ref\_answer': row\['answer'\],  
        'gen\_answer': answer,  
        'context': context  
    }  
      
prediction\_df.loc\[:, 'gen\_answer'\] = prediction\_df\['question'\].apply(lambda q: answer\_dict\[q\]\['gen\_answer'\])  
prediction\_df.loc\[:, 'context'\] = prediction\_df\['question'\].apply(lambda q: answer\_dict\[q\]\['context'\])  
prediction\_df.sample(5)

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述