使用RAG技术构建企业级文档问答系统之QA抽取

1 概述

从本文开始，将开一个大坑，陆续介绍企业级文档问答系统构建的全流程，以及关键环节的优化手段。重点介绍算法流程。

构建一个基础版的RAG是非常简单的，甚至使用扣子、Dify等平台，熟练的情况下都用不了5分钟，即使使用Langchain、LlamaIndex等框架，搭建完整流程，代码也不会超过100行。但基础版的问答效果往往较差。

下面这张图是OpenAI介绍的RAG优化经验，这个准确率当然随不同的数据集会有不同，但基本上优化后的准确率比优化前有显著提升这个基本上是一致的。

问答系统构建完成后，总的流程是先对文档进行解析、切分，然后使用问题检索相关知识片段，最后将问题和知识片段输入LLM，生成答案。

在构建的过程中也是一样的，这三个环节是可以分别独立优化的，如下图所示：

本篇首先专注在如何获取QA数据，所谓的QA数据，就是“问题-回答”数据，理想情况下，如果包含回答所用到的文档片段是更好的。部分系统（如客服系统）是有这方面数据的，但绝大多数情况下是没有的，这时就需要首先构造一批问答数据，这是后续所有环节最重要的一步。

本系列将会使用中国银行所发布的《2024全球经济金融展望报告》作为文档，围绕针对这个文档的问答效果优化展开。

本文所介绍的方法，会使用千问官方的qwen-long模型，对《2024全球经济金融展望报告》这个文档抽取QA，这个模型足够便宜，抽取的结果质量也还不错。QA抽取包含如下3个步骤：

• 短文档片段QA抽取：这部分模拟日常情况下，经常会询问细节性问题的使用场景

• 长文档片段QA抽取：这部分模拟需要综合较多上下文才能回答的使用场景

• QA质量打分：使用LLM再次对抽取的QA进行质量评估，这一步算是借鉴了微软phi-1.5模型Textbooks Are All You Need论文中的方法，就是借助模型对数据质量进行评估

整个过程花费不到1元，结果已经抽取好了，大家可以直接使用。

本文所对应代码已开源，地址在：https://github.com/Steven-Luo/MasteringRAG/blob/main/00_PDF%E8%A7%A3%E6%9E%90%E4%B8%8EQA%E6%8A%BD%E5%8F%96_v1.ipynb

2 准备环境

代码在Google Colab环境下进行了测试，正常情况下，安装Anaconda基本上会包含大部分所用到的包，再安装如下包即可：

pip install langchain langchain\_community pypdf openai  

为了便于大家复现，打印所安装的版本：

import langchain, langchain\_community, pypdf, openai  
  
for module in (langchain, langchain\_community, pypdf, openai):  
    print(f"{module.\_\_name\_\_:<20}{module.\_\_version\_\_}")  

langchain           0.2.8  
langchain\_community 0.2.7  
pypdf               4.3.0  
openai              1.35.14  

设置API key

import os  
  
os.environ\['API\_KEY'\] = '替换为自己的Key'  
os.environ\['BASE\_URL'\] = 'https://dashscope.aliyuncs.com/compatible-mode/v1'  

3 文档解析与切分

from langchain\_community.document\_loaders import PyPDFLoader  
from langchain.schema import Document  
from langchain.text\_splitter import RecursiveCharacterTextSplitter  
import re  
from uuid import uuid4  
  
def split\_docs(documents, filepath, chunk\_size=400, chunk\_overlap=40, seperators=\['\\n\\n\\n', '\\n\\n'\], force\_split=False):  
    if os.path.exists(filepath) and not force\_split:  
        print('found cache, restoring...')  
        return pickle.load(open(filepath, 'rb'))  
  
    splitter = RecursiveCharacterTextSplitter(  
        chunk\_size=chunk\_size,  
        chunk\_overlap=chunk\_overlap,  
        separators=seperators  
    )  
    split\_docs = splitter.split\_documents(documents)  
    for chunk in split\_docs:  
        chunk.metadata\['uuid'\] = str(uuid4())  
  
    pickle.dump(split\_docs, open(filepath, 'wb'))  
  
    return split\_docs  
  
loader = PyPDFLoader("data/2024全球经济金融展望报告.pdf")  
documents = loader.load()  
  
\# 由于原documents跨页，导致即使chunk\_size设置较大，也没有办法获得更大的文档片段，因此，合并整个文档后再切分，方便后面构造大上下文QA  
pattern = r"^全球经济金融展望报告\\n中国银行研究院 \\d+ 2024年"  
merged\_docs = \[Document(page\_content='\\n'.join(re.sub(pattern, '', doc.page\_content) for doc in documents))\]  
  
splitted\_docs = split\_docs(documents, os.path.join(output\_dir, 'split\_docs.pkl'), chunk\_size=500, chunk\_overlap=50)  
splitted\_docs\_large = split\_docs(merged\_docs, os.path.join(output\_dir, 'split\_docs\_large.pkl'), chunk\_size=1500, chunk\_overlap=100)  
uuid2doc = {doc.metadata\['uuid'\]: doc.page\_content for doc in splitted\_docs}  
uuid2large\_doc = {doc.metadata\['uuid'\]: doc.page\_content for doc in splitted\_docs\_large}  

4 QA抽取

既然是构造QA，那最好是保留回答问题时所使用的上下文，方便后续环节的优化。

4.1 QA抽取Prompt

这一步核心的2个Prompt如下：

qa\_gen\_prompt\_tmpl = """  
我会给你一段文本（<document></document>之间的部分），你需要阅读这段文本，分别针对这段文本生成8个问题、用户回答这个问题的上下文，和基于上下文对问题的回答。  
  
对问题、上下文、答案的要求：  
  
问题要与这段文本相关，不要询问类似“这个问题的答案在哪一章”这样的问题  
上下文：上下文必须与原始文本的内容保持一致，不要进行缩写、扩写、改写、摘要、替换词语等  
答案：回答请保持完整且简洁，无须重复问题。答案要能够独立回答问题，而不是引用现有的章节、页码等  
  
返回结果以JSON形式组织，格式为\[{"question": "...", "context": ..., "answer": "..."}, ...\]。  
如果当前文本主要是目录，或者是一些人名、地址、电子邮箱等没有办法生成有意义的问题时，可以返回\[\]。  
  
下方是文本：  
<document>  
{{document}}  
</document>  
  
请生成结果：  
"""  
  
qa\_gen\_prompt\_tmpl\_large\_context = """  
我会给你一段文本（<document></document>之间的部分），你需要阅读这段文本，分别针对这段文本生成2个问题，和基于这段文本对问题的回答，回答请保持完整，无须重复问题。  
尽可能创建一些需要综合\*大段\*文本才能回答的问题，但不要问类似“这一段主要讲了什么内容”这样的问题，答案要能够独立回答问题，而不是引用现有的章节、页码等；不要问具体过于细节的问题，例如“海湾国家的2024年预期经济增长率是多少”，而是尽可能问类似“2024年全球经济的几大趋势是什么”、“受局部中东地区紧张局势影响，可能对全球原物料有哪些影响”。  
返回结果以JSON形式组织，格式为\[{"question": "...", "answer": "..."}, ...\]。  
如果当前文本主要是目录，或者是一些人名、地址、电子邮箱等没有办法生成有意义的问题时，可以返回\[\]。  
  
下方是文本：  
<document>  
{{document}}  
</document>  
  
请生成结果：  
"""  

4.2 QA抽取代码

抽取核心代码，此处使用多线程加速抽取，考虑到网络请求异常情况会比较多，因此增加失败重试机制，同时考虑到这是一个耗时操作，并保存中间结果，以确保失败或者再次运行时，已经执行过的部分不会被重复执行：

from openai import OpenAI  
import time  
import random  
import threading  
import concurrent.futures  
from tqdm.auto import tqdm  
import json  
  
client = OpenAI(  
    api\_key=os.environ\['API\_KEY'\],  
    base\_url=os.environ\['BASE\_URL'\]  
)  
  
def build\_qa\_prompt(prompt\_tmpl, text):  
    prompt = prompt\_tmpl.replace('', text).strip()  
    return prompt  
  
def chat(prompt, max\_retry=3, debug=False, top\_p=0.95, temperature=0.85):  
    def do\_chat(prompt):  
        completion = client.chat.completions.create(  
            model='qwen-long',  
            messages=\[  
                \# {"role": "system", "content": "你是一个有用的人工智能助手"},  
                {"role": "user", "content": prompt}  
            \],  
            top\_p=top\_p,  
            temperature=temperature  
        )  
        return completion.choices\[0\].message.content  
  
    while max\_retry > 0:  
        try:  
            return do\_chat(prompt)  
        except Exception as e:  
            max\_retry -= 1  
            sleep\_seconds = random.randint(1, 4)  
            if debug:  
                print(f"{str(e)}, remain retry: {max\_retry}, sleeping {sleep\_seconds}s {prompt}")  
            time.sleep(sleep\_seconds)  
    return None  
  
  
def gen\_qa(splitted\_docs, prompt\_tmpl, qa\_ckpt\_filename):  
    qa\_ckpt = {}  
    if os.path.exists(qa\_ckpt\_filename):  
        qa\_ckpt = open(qa\_ckpt\_filename).readlines()  
        qa\_ckpt = \[json.loads(line.strip()) for line in qa\_ckpt if line.strip() != ''\]  
        qa\_ckpt = {item\['uuid'\]: item for item in qa\_ckpt}  
        print(f'found checkpoint, item count: {len(qa\_ckpt)}')  
  
    file\_lock = threading.Lock()  
    \# 注意设置并发，如果所使用的API并发限制比较低，调低此值  
    max\_workers = 4  
    with concurrent.futures.ThreadPoolExecutor(max\_workers=max\_workers) as executor:  
        futures = {doc.metadata\['uuid'\]: executor.submit(chat, build\_qa\_prompt(prompt\_tmpl, doc.page\_content), 3, True) for doc in splitted\_docs if len(doc.page\_content.replace('\\n', '')) >= 150 and doc.metadata\['uuid'\] not in qa\_ckpt}  
        for uuid in tqdm(futures):  
            future = futures\[uuid\]  
            result = future.result()  
            if result is None:  
                continue  
  
            item = {'uuid': uuid, 'raw\_resp': result}  
            qa\_ckpt\[uuid\] = item  
  
            \# global file\_lock  
            file\_lock.acquire()  
  
            try:  
                with open(qa\_ckpt\_filename, 'a') as f:  
                    f.write(json.dumps(item, ensure\_ascii=False) + '\\n')  
            except Exception as e:  
                print(e)  
            finally:  
                file\_lock.release()  
    return qa\_ckpt  
      
\# 短上下文抽取结果  
detailed\_qa\_dict = gen\_qa(splitted\_docs, qa\_gen\_prompt\_tmpl, os.path.join(output\_dir, f"qa\_ckpt\_detailed.jsonl"))  
\# 长上下文抽取结果  
large\_context\_qa\_dict = gen\_qa(splitted\_docs\_large, qa\_gen\_prompt\_tmpl\_large\_context, os.path.join(output\_dir, f"qa\_ckpt\_large\_context.jsonl"))  

4.3 抽取样例

\`\`\`json  
\[  
    {  
        "question": "海湾六国经济增长受什么影响较大？",  
        "context": "受国际能源价格走势影响，近年来海湾六国经济增长波动较大。",  
        "answer": "国际能源价格走势"  
    },  
    {  
        "question": "2022年海湾六国的平均GDP增速是多少？",  
        "context": "2022年，海湾六国经济增长强劲，实际GDP增速达7.3%。",  
        "answer": "7.3%"  
    },  
    {  
        "question": "哪个国家在海湾六国中GDP规模最大？",  
        "context": "沙特占据海湾六国经济体量的半壁江山。2022年，沙特GDP规模达1.1万亿美元",  
        "answer": "沙特"  
    },  
    {  
        "question": "2022年阿联酋的GDP规模大约是多少亿美元？",  
        "context": "阿联酋和卡塔尔GDP规模分别为5075亿和2373亿美元，位列第二和第三位",  
        "answer": "5075亿"  
    },  
    {  
        "question": "2022年沙特油气部门在其经济总量中的占比大约是多少？",  
        "context": "油气部门在海湾六国经济总量中的占比超过40%，在沙特的占比更是接近七成。",  
        "answer": "接近七成"  
    },  
    {  
        "question": "IMF预测2023年海湾六国的平均经济增速是多少？",  
        "context": "IMF在最新展望报告中将海湾六国2023年经济增速下调0.8个百分点至1.7%。",  
        "answer": "1.7%"  
    },  
    {  
        "question": "2023年和2024年阿联酋预计的经济增速是多少？",  
        "context": "预计2023年和2024年经济增速分别为3.4%和4.0%，为海湾六国中最高。",  
        "answer": "2023年3.4%，2024年4.0%"  
    },  
    {  
        "question": "海湾六国经济结构的主要问题是什么？",  
        "context": "鉴于海湾六国经济结构相对单一，非石油部门虽然为海",  
        "answer": "经济结构相对单一"  
    }  
\]  
\`\`\`  

4.4 后置处理

从上面的样例可以看出，结果是被json...包裹的，没有办法直接解析为JSON，使用正则表达式进行后置处理，提取JSON

import re  
import pandas as pd  
  
def convert2json(text):  
    pattern = r'\\\[.\*\\\]'  
  
    text = text.replace('>>>', '')  
    try:  
        return json.loads(text)  
    except:  
        match = re.search(pattern, text, re.DOTALL)  
        try:  
            matched = match.group(0)  
            return json.loads(matched)  
        except Exception as e:  
            print(f"{match}, {str(e)}")  
  
    return \[\]  
      
def build\_qa\_df(qa\_ckpt, uuid2doc\_map):  
    data = \[\]  
  
    for key, value in tqdm(qa\_ckpt.items()):  
        text = value\['raw\_resp'\]  
        qa\_list = convert2json(text)  
  
        for item in qa\_list:  
            question = item.get('question', '').strip()  
            answer = item.get('answer', '').strip()  
            context = item.get('context', '').strip()  
  
            if question == '' or answer == '':  
                print(qa\_list)  
                continue  
            data.append({  
                'uuid': key,  
                'question': question,  
                'answer': answer,  
                'context': context,  
                'doc': uuid2doc\_map\[key\]  
            })  
    qa\_df = pd.DataFrame(data)  
    return qa\_df  
      
qa\_df = build\_qa\_df(detailed\_qa\_dict, uuid2doc)  
qa\_df.drop\_duplicates('question', inplace=True)  
qa\_df\['qa\_type'\] = 'detailed'  
large\_context\_qa\_df = build\_qa\_df(large\_context\_qa\_dict, uuid2large\_doc)  
large\_context\_qa\_df.drop\_duplicates('question', inplace=True)  
large\_context\_qa\_df\['qa\_type'\] = 'large\_context'  
  
qa\_df = pd.concat(\[qa\_df, large\_context\_qa\_df\])  

5 QA质量检查

这部分就是对qa_df中的问题-回答对，再打一次分，然后过滤低分结果，Prompt如下：

qa\_check\_prompt\_tmpl = """  
你是一个优秀的NLP方面的助教，你的任务是帮助检查出题组所出的期末考试的题目。  
你需要根据所出的问题（<question></question>之间的部分），以及参考答案（<answer></answer>）进行打分，并给出打分理由，分值是一个int类型的值，取值范围为1-5。  
好的问题，应该是询问实时、观点等，而不是类似于“这一段描述了什么”，“文本描述了什么”；  
好的答案，应该能够直接回答问题，而不是给出在原文中的引用，例如“第3章”等  
  
结果请以JSON形式组织，格式为如下：  
{"score": ..., "reason": ...}  
  
问题：  
<question>  
{{question}}  
</question>  
  
答案：  
<answer>  
{{answer}}  
</answer>  
  
请打分：  
"""  

总体又是一个循环，与QA抽取部分非常相似，此处不再粘贴代码，需要的朋友们请访问代码仓库。

5.1 打分结果样例

5.2 3分样例

• 问：报告中提到的主要经济体GDP增速变化趋势的图的名称是什么？

• 答：主要经济体GDP增速变化趋势

• 上下文：图2：主要经济体GDP增速变化趋势（%）

5.3 2分样例

• 问：消费者借贷能力和意愿受到什么因素的影响？

• 答：美国家庭债务余额拖欠率回升至3%

• 上下文：美国家庭债务余额拖欠率回升至3%，消费者借贷能力和意愿将有所下降。

可以看出，低分问答对，质量确实相对较低

5.4 最终数据集构建

这部分首先保留4分及以上的问答对，然后随机挑选100条数据作为后续的测试集。至此，准备工作完成。

hq\_qa\_df = qa\_df\[qa\_df\['score'\] >= 4\]  
test\_q = hq\_qa\_df.sample(100, replace=False)\['question'\].values.tolist()  
hq\_qa\_df\['dataset'\] = 'train'  
hq\_qa\_df.loc\[hq\_qa\_df\['question'\].isin(test\_q), 'dataset'\] = 'test'  
  
hq\_qa\_df.to\_excel(os.path.join(output\_dir, 'question\_answer.xlsx'), index=False)

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】