【InternLM 实战营第二期笔记03】茴香豆：搭建你的RAG智能助理

 什么是RAG

RAG的基本概念

RAG（Retrieval-Augmented Generation）是一种结合检索和生成两个关键NLP（自然语言处理）任务的自然语言处理模型架构。该模型旨在提高模型性能，尤其是在涉及特定领域知识或需要引用外部信息的任务中。RAG模型主要包括信息检索模块（用于从大型文本数据中检索相关信息）和生成模块（用于生成输出文本）。

RAG的应用

RAG的应用主要体现在自然语言处理领域，尤其是在那些需要丰富知识背景来生成准确回答或内容的场景中。

RAG的工作原理

RAG（Retrieval-Augmented Generation）的工作原理是将检索和生成两个关键NLP（自然语言处理）任务相结合，以提高模型性能。具体的工作原理可以分为以下步骤：

首先，RAG模型接收一个用户输入的问题或查询。在检索阶段，模型使用检索组件查询预先建立的大型文档数据库（如维基百科等）。这一步骤通常利用先进的检索技术，如稠密向量检索，来识别与输入查询最相关的文档或文档片段。通过检索，模型能够获取与问题相关的知识片段。

接下来，进入生成阶段。检索到的信息被送入生成模型（如基于Transformer的模型）。生成模型综合考虑原始查询和检索到的上下文信息，生成一个详细的、信息丰富的回答或文本。这一过程中，生成模型利用预训练的大语言模型的能力，通过增强知识来指导其产出更符合语境的回答。

通过这种方式，RAG模型结合了检索和生成两个子任务，以充分利用知识库中的信息并生成准确的回答。这种结合使得RAG模型能够处理复杂查询，提供准确的答案，并适用于各种需要丰富知识背景的自然语言处理任务。

 向量数据库 

向量数据库是一种专门用于存储和查询向量的数据库系统。与传统的关系型数据库不同，向量数据库设计用于高效地处理高维向量数据，这些向量数据通常来自机器学习模型（如推荐系统、自然语言处理模型等）的输出或特征表示。

RAG的常见优化方法 

RAG（Retrieval-Augmented Generation）的常见优化方法主要包括以下几个方面，通过综合应用这些方法，可以显著提高RAG的性能和效果，使其在自然语言处理任务中更加准确和高效。

RAG vs 微调 

RAG和微调各有其优势和局限性。RAG适用于需要利用外部知识库改进模型推理能力和事实性的场景，且更新成本较低；而微调则更适用于在预训练模型基础上进行针对性优化，提高模型在特定任务上的性能。在实际应用中，可以根据具体需求选择合适的策略。

RAG评测

评测框架和基本准则旨在全面、准确地评估模型在结合检索和生成任务时的性能。

 茴香豆 

茴香豆介绍

茴香豆是一个基于LLMs的领域知识助手，由书生浦语团队开发。它专门用于即时通讯工具中的群聊场景，为用户提供及时准确的技术支持和首动花问答服务。通过应用检索增强生成（RAG）技术，茴香豆能够理解和高效准确地回应与特定知识领域相关的复杂查询。它的应用场景广泛，包括智能客服的技术支持和领域知识对话，以及群聊中处理各种类型的信息。然而，随着用户数量的增加，群聊中的信息量巨大且内容多样，从技术讨论到闲聊应有尽有，这给茴香豆带来了一定的挑战。尽管如此，茴香豆仍然通过提供自动化的问答支持，帮助维护者减轻负担，同时确保用户问题得到有效解答。

核心特征 

实践演示

环境配置

studio-conda -o internlm-base -t InternLM2_Huixiangdou

查看环境

conda env list

激活环境

conda activate InternLM2_Huixiangdou

复制模型、下载安装茴香豆

# 复制BCE模型
ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1
ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1

# 复制大模型参数（下面的模型，根据作业进度和任务进行**选择一个**就行）
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

cd /root
# 下载 repo
git clone https://github.com/internlm/huixiangdou && cd huixiangdou
git checkout 447c6f7e68a1657fce1c4f7c740ea1700bde0440

使用茴香豆搭建 RAG 助手 

修改配置文件（向量数据库、词嵌入的模型、重排序模型、基座大模型）

sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini
sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' /root/huixiangdou/config.ini
sed -i '29s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' /root/huixiangdou/config.ini

 创建知识库

下载 Huixiangdou 语料

cd /root/huixiangdou && mkdir repodir

git clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou

增加茴香豆相关的问题到接受问题

cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.json

echo '[
    "mmpose中怎么调用mmyolo接口",
    "mmpose实现姿态估计后怎么实现行为识别",
    "mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth   现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作",
    "在mmdetection中，如何同时加载两个数据集，两个dataloader",
    "如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？",
    "1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，",
    "mmpose 测试 map 一直是 0 怎么办？",
    "如何使用mmpose检测人体关键点？",
    "我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注",
    "如何生成openmmpose的c++推理脚本",
    "mmpose",
    "mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件",
    "mmpose可以实现行为识别吗，如果要实现的话应该怎么做",
    "我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了",
    "mac m1从源码安装的mmpose是x86_64的",
    "想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？",
    "huixiangdou 是什么？",
    "使用科研仪器需要注意什么？",
    "huixiangdou 是什么？",
    "茴香豆 是什么？",
    "茴香豆 能部署到微信吗？",
    "茴香豆 怎么应用到飞书",
    "茴香豆 能部署到微信群吗？",
    "茴香豆 怎么应用到飞书群",
    "huixiangdou 能部署到微信吗？",
    "huixiangdou 怎么应用到飞书",
    "huixiangdou 能部署到微信群吗？",
    "huixiangdou 怎么应用到飞书群",
    "huixiangdou",
    "茴香豆",
    "茴香豆 有哪些应用场景",
    "huixiangdou 有什么用",
    "huixiangdou 的优势有哪些？",
    "茴香豆 已经应用的场景",
    "huixiangdou 已经应用的场景",
    "huixiangdou 怎么安装",
    "茴香豆 怎么安装",
    "茴香豆 最新版本是什么",
    "茴香豆 支持哪些大模型",
    "茴香豆 支持哪些通讯软件",
    "config.ini 文件怎么配置",
    "remote_llm_model 可以填哪些模型?"
]' > /root/huixiangdou/resource/good_questions.json

创建一个测试用的问询列表，用来测试拒答流程是否起效 

cd /root/huixiangdou

echo '[
"huixiangdou 是什么？",
"你好，介绍下自己"
]' > ./test_queries.json

 创建 RAG 检索过程中使用的向量数据库

# 创建向量数据库存储目录
cd /root/huixiangdou && mkdir workdir 

# 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json

 运行茴香豆知识助手

# 填入问题
sed -i '74s/.*/    queries = ["huixiangdou 是什么？", "茴香豆怎么部署到微信群", "今天天气怎么样？"]/' /root/huixiangdou/huixiangdou/main.py

# 运行茴香豆
cd /root/huixiangdou/
python3 -m huixiangdou.main --standalone

 效果展示

good question

bad question