学习笔记 | 茴香豆：搭建你的RAG智能助理

一、RAG技术简述

​ RAG (Retrieval Augmented Generation) 是一种结合了检索和生成的技术，旨在通过利用外部知识库来增强LLMs的性能，通过检索与用户输入相关的信息片段，并结合这些信息来生成更准确、丰富的回答。可以解决LLMs在处理知识密集型任务时可能遇到的挑战，提供更准确的回答，降低成本，实现外部记忆。新知识可以用来防止生成幻觉，过滤过时知识等。

1、工作原理：

​ 1）Indexing：将知识源分割成chunk并编码成向量，存储在向量数据库中；

​ 2）Retrieval：将问题编码成向量，在向量数据库中找到与之最相关的文档块 (top-k chunks)；

​ 3）Generation：将检索到的文档块与问题一起作为prompt输入到LLM中，生成回答。

2、常见优化方法：

​ 1）嵌入优化：结合稀疏编码和密集检索；

​ 2）索引优化：细粒度分割Chunk、元数据；

​ 以上两种都是提升向量数据库质量来做优化；

​ 3）查询优化：查询扩展、转换（转换为更好的问法）；多查询；

​ 4）上下文管理：重排、上下文选择/压缩，减少检索的冗余，信息提取；

​ 5）迭代检索：根据初始查询和迄今为止生成的文本进行重复搜索；

​ 6）递归检索：迭代细化搜索查询；链式推理指导检索过程，细化推理过程；

​ 7）自适应检索：用LLMs主动决定检索的最佳时机和内容 (Flare、Self-RAG)；

​ 8）LLM微调：检索/生成/双重微调。

3、适用场景及优劣

​ （非参数记忆）适用于需要结合最新信息和实时数据的任务（开放域回答、实时新闻摘要）

​ 优势：动态知识更新，处理长尾知识问题；

​ 劣势：依赖外部知识库的质量和范围，还依赖大模型的能力。

​ 相较之下，微调属于参数记忆，在特定任务数据上训练，模型可以更好地适应该任务，适用于数据可用且需要模型高度专业化的任务。

​ 优势：模型性能针对特定任务优化；

​ 劣势：需要大量的标注数据，易过拟合，泛化性能差。

​ 此外，LLM的优化方法还有提示工程 (Prompt Engineering)。需要平衡模型对外部知识的需求和对模型适配度的需求。

4、评估指标

​ Accuracy, Recall, F1 Score, BLEU Score（用于机器翻译和文本生成）, ROUGE Score（用于文本生成的评估）。

5、茴香豆的工作流

​ 群聊中的语句经过预处理形成query送入拒答工作流，拒答工作流会根据数据库中的特征对询问进行相关性打分，判断询问是否进入应答流程，回答后返回群聊。

​ 拒答工作流的目的是筛选出群聊中真正需要回答的问题。为了生成更加准确有效的回答，应答模块采用了多来源检索（向量数据库、网络搜索、知识图谱）、混合模型和安全评估。

二、模型部署与调用

​ 进入开发机后，从官方环境复制运行 InternLM 的基础环境，命名为 InternLM2_Huixiangdou，复制完成后进入该环境：

studio-conda -o internlm-base -t InternLM2_Huixiangdou
conda activate InternLM2_Huixiangdou

​ 复制茴香豆所需模型文件，选用 InternLM2-Chat-7B 作为基础模型。

# 创建模型文件夹
cd /root && mkdir models

# 复制BCE模型
ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1
ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1

# 复制大模型参数
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

​ 安装茴香豆运行所需依赖，并从茴香豆官方仓库下载茴香豆。

pip install protobuf==4.25.3 accelerate==0.28.0 aiohttp==3.9.3 auto-gptq==0.7.1 bcembedding==0.1.3 beautifulsoup4==4.8.2 einops==0.7.0 faiss-gpu==1.7.2 langchain==0.1.14 loguru==0.7.2 lxml_html_clean==0.1.0 openai==1.16.1 openpyxl==3.1.2 pandas==2.2.1 pydantic==2.6.4 pymupdf==1.24.1 python-docx==1.1.0 pytoml==0.1.21 readability-lxml==0.8.1 redis==5.0.3 requests==2.31.0 scikit-learn==1.4.1.post1 sentence_transformers==2.2.2 textract==1.6.5 tiktoken==0.6.0 transformers==4.39.3 transformers_stream_generator==0.0.5 unstructured==0.11.2

cd /root
# 克隆代码仓库
git clone https://github.com/internlm/huixiangdou && cd huixiangdou
git checkout 447c6f7e68a1657fce1c4f7c740ea1700bde0440

​ 下面对刚刚安装的Python依赖作一解释：

1. protobuf==3.17.3: Protocol Buffers 是一种轻便高效的结构化数据序列化方法，用于将结构化数据序列化为字节流，以便进行存储或传输。
2. accelerate==0.28.0: 提供了一组加速Python应用程序的工具，例如通过使用GPU加速深度学习模型的训练。
3. aiohttp==3.9.3: 异步HTTP客户端/服务器框架，适用于Python 3.5+，支持异步请求和响应。
4. auto-gptq==0.7.1: 一个自动问答（AutoQA）工具。
5. bcembedding==0.1.3: 一个用于将文本转换为向量表示的库。
6. beautifulsoup4==4.8.2: 用于从HTML或XML文件中提取数据的库，特别适用于网页爬虫。
7. einops==0.7.0: 用于对张量进行操作和重排的库，通常用于深度学习中的数据预处理。
8. faiss-gpu==1.7.2: FAISS（Facebook AI Similarity Search）是一个用于高效相似度搜索和聚类的库，特别是在大规模数据集上，而faiss-gpu是其GPU加速版本。
9. langchain==0.1.14: 一个处理自然语言文本的工具。
10. loguru==0.7.2: 简单但功能强大的日志库，提供了简单的API用于记录日志消息。
11. lxml_html_clean==0.1.0: 一个清理HTML文档的工具，可能用于去除HTML中的噪声或不需要的标记。
12. openai==1.16.1: OpenAI提供的Python SDK，用于访问OpenAI API，包括对GPT模型的访问。
13. openpyxl==3.1.2: 用于读写Excel xlsx文件的库，支持更多的Excel功能。
14. pandas==2.2.1: 用于数据操作和分析的强大库，提供了类似于SQL的数据操作和灵活的数据结构。
15. pydantic==2.6.4: 用于数据验证和设置类型的库，特别适用于构建Python应用程序的配置和参数验证。
16. pymupdf==1.24.1: 一个用于处理PDF文件的库，可以用来提取文本、图像等信息。
17. python-docx==1.1.0: 用于创建和修改Microsoft Word文档的库，支持Word 2007及以上版本的docx格式。
18. pytoml==0.1.21: 用于解析和生成TOML（Tom’s Obvious, Minimal Language）格式的库，TOML是一种配置文件格式。
19. readability-lxml==0.8.1: 一个从HTML文档中提取可读性内容的库，通常用于网页内容抓取。
20. redis==5.0.3: Redis是一个开源的内存数据库，用于存储键值对等数据结构，常用于缓存和消息队列等场景。
21. requests==2.31.0: 用于发送HTTP请求的库，简单易用且功能强大。
22. scikit-learn==1.4.1.post1: 用于机器学习和数据挖掘的库，提供了各种经典的机器学习算法和工具。
23. sentence_transformers==2.2.2: 用于将句子转换为向量表示的库，通常用于文本语义相似性匹配等任务。
24. textract==1.6.5: 用于从各种文档格式中提取文本的库，例如PDF、Word等。
25. transformers==4.39.3: Hugging Face提供的用于自然语言处理的库，包含了各种预训练的Transformer模型，例如BERT、GPT等。
26. transformers_stream_generator==0.0.5: 一个基于transformers库的流式文本生成工具。
27. unstructured==0.11.2: 一个用于处理非结构化数据的库，如文本、图像等。

​ 使用茴香豆搭建 RAG 助手，需要修改配置文件，用已下载模型的路径替换/root/huixiangdou/config.ini文件中的默认模型，需要修改 3 处模型地址，分别是：

​ 1）用于向量数据库和词嵌入的模型：

sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini

​ 2）用于检索的重排序模型：

sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' /root/huixiangdou/config.ini

​ 3）本次选用的大模型：

sed -i '29s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' /root/huixiangdou/config.ini

​ 修改好的配置文件如下所示：

[feature_store]
# `feature_store.py` use this throttle to distinct `good_questions` and `bad_questions`
reject_throttle = 0.22742061846268935
# text2vec model path, support local relative path and huggingface model format.
# also support local path, model_path = "/path/to/your/text2vec-model"
embedding_model_path = "/root/models/bce-embedding-base_v1"
reranker_model_path = "/root/models/bce-reranker-base_v1"
work_dir = "workdir"

[web_search]
# check https://serper.dev/api-key to get a free API key
x_api_key = "${YOUR-API-KEY}"
domain_partial_order = ["openai.com", "pytorch.org", "readthedocs.io", "nvidia.com", "stackoverflow.com", "juejin.cn", "zhuanlan.zhihu.com", "www.cnblogs.com"]
save_dir = "logs/web_search_result"

[llm]
enable_local = 1
enable_remote = 0
# hybrid llm service address
client_url = "http://127.0.0.1:8888/inference"

[llm.server]
# local LLM configuration
# support "internlm/internlm2-chat-7b" and "qwen/qwen-7b-chat-int8"
# support local path, for example
# local_llm_path = "/path/to/your/internlm2"
# also support local_llm_path = "internlm/internlm2-chat-20b"

local_llm_path = "/root/models/internlm2-chat-7b"
local_llm_max_text_length = 3000
local_llm_bind_port = 8888

​ 下一步，创建知识库，使用 InternLM 的 Huixiangdou 文档作为新增知识数据检索来源，在不重新训练的情况下，打造一个 Huixiangdou 技术问答助手。首先，下载 Huixiangdou 语料：

cd /root/huixiangdou && mkdir repodir

git clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou

​ 提取知识库特征，创建向量数据库。数据库向量化的过程应用到了 LangChain 的相关模块，默认嵌入和重排序模型调用的网易 BCE 双语模型，如果没有在 config.ini 文件中指定本地模型路径，茴香豆将自动从 HuggingFace 拉取默认模型。除了语料知识的向量数据库，茴香豆建立接受和拒答两个向量数据库，用来在检索的过程中更加精确的判断提问的相关性，这两个数据库的来源分别是：

• 接受问题列表，希望茴香豆助手回答的示例问题
  • 存储在 huixiangdou/resource/good_questions.json 中
• 拒绝问题列表，希望茴香豆助手拒答的示例问题
  • 存储在 huixiangdou/resource/bad_questions.json 中
  • 其中多为技术无关的主题或闲聊
  • 如：“nihui 是谁”, “具体在哪些位置进行修改？”, “你是谁？”, “1+1”

​ 运行下面的命令，增加茴香豆相关的问题到接受问题示例中：

cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.json

echo '[
    "mmpose中怎么调用mmyolo接口",
    "mmpose实现姿态估计后怎么实现行为识别",
    "mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth   现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作",
    "在mmdetection中，如何同时加载两个数据集，两个dataloader",
    "如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？",
    "1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，",
    "mmpose 测试 map 一直是 0 怎么办？",
    "如何使用mmpose检测人体关键点？",
    "我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注",
    "如何生成openmmpose的c++推理脚本",
    "mmpose",
    "mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件",
    "mmpose可以实现行为识别吗，如果要实现的话应该怎么做",
    "我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了",
    "mac m1从源码安装的mmpose是x86_64的",
    "想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？",
    "huixiangdou 是什么？",
    "使用科研仪器需要注意什么？",
    "huixiangdou 是什么？",
    "茴香豆 是什么？",
    "茴香豆 能部署到微信吗？",
    "茴香豆 怎么应用到飞书",
    "茴香豆 能部署到微信群吗？",
    "茴香豆 怎么应用到飞书群",
    "huixiangdou 能部署到微信吗？",
    "huixiangdou 怎么应用到飞书",
    "huixiangdou 能部署到微信群吗？",
    "huixiangdou 怎么应用到飞书群",
    "huixiangdou",
    "茴香豆",
    "茴香豆 有哪些应用场景",
    "huixiangdou 有什么用",
    "huixiangdou 的优势有哪些？",
    "茴香豆 已经应用的场景",
    "huixiangdou 已经应用的场景",
    "huixiangdou 怎么安装",
    "茴香豆 怎么安装",
    "茴香豆 最新版本是什么",
    "茴香豆 支持哪些大模型",
    "茴香豆 支持哪些通讯软件",
    "config.ini 文件怎么配置",
    "remote_llm_model 可以填哪些模型?"
]' > /root/huixiangdou/resource/good_questions.json

​ 再创建一个测试用的问询列表，用来测试拒答流程是否起效：

cd /root/huixiangdou

echo '[
"huixiangdou 是什么？",
"你好，介绍下自己"
]' > ./test_queries.json

​ 在确定好语料来源后，运行下面的命令，创建 RAG 检索过程中使用的向量数据库：

# 创建向量数据库存储目录
cd /root/huixiangdou && mkdir workdir 

# 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json

​ 完成后，Huixiangdou 相关的新增知识就以向量数据库的形式存储在 workdir 文件夹下。检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词，在知识库中检索 top K 相似的 chunk，综合问题和检索到的 chunk 生成答案。

# 填入问题
sed -i '74s/.*/    queries = ["huixiangdou 是什么？", "茴香豆怎么部署到微信群", "今天天气怎么样？"]/' /root/huixiangdou/huixiangdou/main.py

# 运行茴香豆
cd /root/huixiangdou/
python3 -m huixiangdou.main --standalone

三、茴香豆进阶

​ 茴香豆并非单纯的 RAG 功能实现，而是一个专门针对群聊优化的知识助手，它还有如下的应用：

3.1 加入网络搜索

​ 茴香豆除了可以从本地向量数据库中检索内容进行回答，也可以加入网络的搜索结果，生成回答。首先开启网络搜索功能需要用到 Serper 提供的 API，进入 Serper API 界面，复制自己的 API-key，并替换 /huixiangdou/config.ini 中的 ${YOUR-API-KEY} 为自己的API-key，其中 domain_partial_order 可以设置网络搜索的范围。

[web_search]
# check https://serper.dev/api-key to get a free API key
x_api_key = "${YOUR-API-KEY}"
domain_partial_order = ["openai.com", "pytorch.org", "readthedocs.io", "nvidia.com", "stackoverflow.com", "juejin.cn", "zhuanlan.zhihu.com", "www.cnblogs.com"]
save_dir = "logs/web_search_result"

3.2 使用远程模型

​ 茴香豆除了可以使用本地大模型，还可以轻松的调用云端模型 API。目前，茴香豆已经支持 Kimi，GPT-4，Deepseek 和 GLM 等常见大模型API。想要使用远端大模型，首先修改 /huixiangdou/config.ini 文件，并修改 remote_ 相关配置，填写 API key、模型类型等参数。

enable_local = 0 # 关闭本地模型
enable_remote = 1 # 启用云端模型

远端模型配置选项	GPT	Kimi	Deepseek	ChatGLM	xi-api	alles-apin
remote_type	gpt	kimi	deepseek	zhipuai	xi-api	alles-apin
remote_llm_max_text_length 最大值	192000	128000	16000	128000	192000	-
remote_llm_model	“gpt-4-0613”	“moonshot-v1-128k”	“deepseek-chat”	“glm-4”	“gpt-4-0613”	-

​ 启用远程模型可以大大降低GPU显存需求，根据测试，采用远程模型的茴香豆应用，最小只需要2G显存即可。需要注意的是，这里启用的远程模型，只用在问答分析和问题生成，依然需要本地嵌入、重排序模型进行特征提取。

3.3 利用 Gradio 搭建网页 Demo

​ 首先，安装 Gradio 依赖组件，运行脚本，启动茴香豆对话 Demo 服务。

pip install gradio==4.25.0 redis==5.0.3 flask==3.0.2 lark_oapi==1.2.4
cd /root/huixiangdou
python3 -m tests.test_query_gradio 

​ 针对远程服务器，如我们的 Intern Studio 开发机，需要设置端口映射，转发端口到本地浏览器，映射方法见上一篇笔记。在本地浏览器中输入 127.0.0.1:7860 进入 Gradio 对话 Demo 界面，开始对话。如果需要更换检索的知识领域，只需要用新的语料知识重复创建知识库步骤，提取特征到新的向量数据库，更改 huixiangdou/config.ini 文件中 work_dir = "新向量数据库路径"，或者运行：

python3 -m tests.test_query_gradi --work_dir <新向量数据库路径>

​ 无需重新训练或微调模型。

3.4 配置文件解析

​ 茴香豆的配置文件位于代码主目录下，采用 Toml 形式，有着丰富的功能，下面将解析配置文件中重要的常用参数。

[feature_store]
...
reject_throttle = 0.22742061846268935
...
embedding_model_path = "/root/models/bce-embedding-base_v1"
reranker_model_path = "/root/models/bce-reranker-base_v1"
...
work_dir = "workdir"

​ reject_throttle: 拒答阈值，0-1，数值越大，回答的问题相关性越高。拒答分数在检索过程中通过与示例问题的相似性检索得出，高质量的问题得分高，无关、低质量的问题得分低。只有得分数大于拒答阈值的才会被视为相关问题，用于回答的生成。当闲聊或无关问题较多的环境可以适当调高。

​ embedding_model_path 和 reranker_model_path: 嵌入和重排用到的模型路径。不设置本地模型路径情况下，默认自动通过 Huggingface 下载。开始自动下载前，需要使用下列命令登录 Huggingface 账户获取权限：

huggingface-cli login

​ work_dir: 向量数据库路径。茴香豆安装后，可以通过切换向量数据库路径，来回答不同知识领域的问答。

[llm.server]
...
local_llm_path = "/root/models/internlm2-chat-1_8b"
local_llm_max_text_length = 3000
...

​ local_llm_path: 本地模型文件夹路径或模型名称。现支持 书生·浦语 和 通义千问 模型类型，调用 transformers 的 AutoModels 模块，除了模型路径，输入 Huggingface 上的模型名称，如*“internlm/internlm2-chat-7b”、“qwen/qwen-7b-chat-int8”、“internlm/internlm2-chat-20b”*，也可自动拉取模型文件。

​ local_llm_max_text_length: 模型可接受最大文本长度。

​ 远端模型支持参考上一小节。

[worker]
# enable search enhancement or not
enable_sg_search = 0
save_path = "logs/work.txt"
...

​ [worker]: 增强搜索功能，配合 [sg_search] 使用。增强搜索利用知识领域的源文件建立图数据库，当模型判断问题为无关问题或回答失败时，增强搜索功能将利用 LLM 提取的关键词在该图数据库中搜索，并尝试用搜索到的内容重新生成答案。在 config.ini 中查看 [sg_search] 具体配置示例。

[worker.time]
start = "00:00:00"
end = "23:59:59"
has_weekday = 1

​ [worker.time]: 可以设置茴香豆每天的工作时间，通过 start 和 end 设定应答的起始和结束时间。 has_weekday: = 1 的时候，周末不应答。

[frontend]
...

​ [fronted]: 前端交互设置。

3.5 文件结构

​ 通过了解主要文件的位置和作用，可以更好的理解茴香豆的工作原理。

.
├── LICENSE
├── README.md
├── README_zh.md
├── android
├── app.py
├── config-2G.ini
├── config-advanced.ini
├── config-experience.ini
├── config.ini # 配置文件
├── docs # 教学文档
├── huixiangdou # 存放茴香豆主要代码，重点学习
├── huixiangdou-inside.md
├── logs
├── repodir # 默认存放个人数据库原始文件，用户建立
├── requirements-lark-group.txt
├── requirements.txt
├── resource
├── setup.py
├── tests # 单元测试
├── web # 存放茴香豆 Web 版代码
└── web.log
└── workdir # 默认存放茴香豆本地向量数据库，用户建立

./huixiangdou
├── __init__.py
├── frontend # 存放茴香豆前端与用户端和通讯软件交互代码
│   ├── __init__.py
│   ├── lark.py
│   └── lark_group.py
├── main.py # 运行主贷
├── service # 存放茴香豆后端工作流代码
│   ├── __init__.py
│   ├── config.py #
│   ├── feature_store.py # 数据嵌入、特征提取代码
│   ├── file_operation.py
│   ├── helper.py
│   ├── llm_client.py
│   ├── llm_server_hybrid.py # 混合模型代码
│   ├── retriever.py # 检索模块代码
│   ├── sg_search.py # 增强搜索，图检索代码
│   ├── web_search.py # 网页搜索代码
│   └── worker.py # 主流程代码
└── version.py

​ 茴香豆工作流中用到的 Prompt 位于 huixiangdou/service/worker.py 中。可以根据业务需求尝试调整 Prompt，打造你独有的茴香豆知识助手。

...
        # Switch languages according to the scenario.
        if self.language == 'zh':
            self.TOPIC_TEMPLATE = '告诉我这句话的主题，直接说主题不要解释：“{}”'
            self.SCORING_QUESTION_TEMPLTE = '“{}”\n请仔细阅读以上内容，判断句子是否是个有主题的疑问句，结果用 0～10 表示。直接提供得分不要解释。\n判断标准：有主语谓语宾语并且是疑问句得 10 分；缺少主谓宾扣分；陈述句直接得 0 分；不是疑问句直接得 0 分。直接提供得分不要解释。'  # noqa E501
            self.SCORING_RELAVANCE_TEMPLATE = '问题：“{}”\n材料：“{}”\n请仔细阅读以上内容，判断问题和材料的关联度，用0～10表示。判断标准：非常相关得 10 分；完全没关联得 0 分。直接提供得分不要解释。\n'  # noqa E501
            self.KEYWORDS_TEMPLATE = '谷歌搜索是一个通用搜索引擎，可用于访问互联网、查询百科知识、了解时事新闻等。搜索参数类型 string， 内容是短语或关键字，以空格分隔。\n你现在是{}交流群里的技术助手，用户问“{}”，你打算通过谷歌搜索查询相关资料，请提供用于搜索的关键字或短语，不要解释直接给出关键字或短语。'  # noqa E501
            self.SECURITY_TEMAPLTE = '判断以下句子是否涉及政治、辱骂、色情、恐暴、宗教、网络暴力、种族歧视等违禁内容，结果用 0～10 表示，不要解释直接给出得分。判断标准：涉其中任一问题直接得 10 分；完全不涉及得 0 分。直接给得分不要解释：“{}”'  # noqa E501
            self.PERPLESITY_TEMPLATE = '“question:{} answer:{}”\n阅读以上对话，answer 是否在表达自己不知道，回答越全面得分越少，用0～10表示，不要解释直接给出得分。\n判断标准：准确回答问题得 0 分；答案详尽得 1 分；知道部分答案但有不确定信息得 8 分；知道小部分答案但推荐求助其他人得 9 分；不知道任何答案直接推荐求助别人得 10 分。直接打分不要解释。'  # noqa E501
            self.SUMMARIZE_TEMPLATE = '{} \n 仔细阅读以上内容，总结得简短有力点'  # noqa E501
            # self.GENERATE_TEMPLATE = '材料：“{}”\n 问题：“{}” \n 请仔细阅读参考材料回答问题，材料可能和问题无关。如果材料和问题无关，尝试用你自己的理解来回答问题。如果无法确定答案，直接回答不知道。'  # noqa E501
            self.GENERATE_TEMPLATE = '材料：“{}”\n 问题：“{}” \n 请仔细阅读参考材料回答问题。'  # noqa E501
...