【AI大模型开发者指南】书生·浦语“茴香豆”RAG助手部署

【AI大模型开发者指南】书生·浦语“茴香豆”RAG助手部署

RAG是什么

个人理解，目前常用的RAG是在传统AI对话的互动模式下新增了两个步骤：

• 检索
• 重输入

传统LLM对话：

输入 → 输出

RAG对话：

输入 → 检索知识库 → 选取topK个知识点 → 合成新prompt/instruction → 输出

除此之外，RAG还会涉及以下方面：

• 文件解析
• 文本切分（知识提取）
• 向量数据库
• 文本相关性
• 排序
• 嵌入
• …

就目前而言，RAG是大模型应用中比较火的一个领域。

茴香豆RAG助手

茴香豆是书生·浦语社区开源贡献者的作品，其一开始针对的是微信群聊场景，作为微信机器人进行部署，后来逐渐开发出来web等其他版本。

以下我们针对茴香豆本体（命令行互动）做部署教程：

预配置

安装环境、requirements等

环境包括：

• transformers
• …

requirements：

pip install protobuf==4.25.3 accelerate==0.28.0 aiohttp==3.9.3 auto-gptq==0.7.1 bcembedding==0.1.3 beautifulsoup4==4.8.2 einops==0.7.0 faiss-gpu==1.7.2 langchain==0.1.14 loguru==0.7.2 lxml_html_clean==0.1.0 openai==1.16.1 openpyxl==3.1.2 pandas==2.2.1 pydantic==2.6.4 pymupdf==1.24.1 python-docx==1.1.0 pytoml==0.1.21 readability-lxml==0.8.1 redis==5.0.3 requests==2.31.0 scikit-learn==1.4.1.post1 sentence_transformers==2.2.2 textract==1.6.5 tiktoken==0.6.0 transformers==4.39.3 transformers_stream_generator==0.0.5 unstructured==0.11.2

下载工具包

我们以InternLM2-Chat-7B作为基础模型（模型下载与使用在上一篇文章中有介绍）

下载茴香豆库

git clone https://github.com/internlm/huixiangdou

进入项目文件夹，修改配置

cd huixiangdou

sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' ./config.ini

sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' ./config.ini

sed -i '29s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' ./config.ini

改完之后，配置应该如下

主要是把路径改成自己的模型（嵌入模型、排序模型、llm）

下载语料

mkdir repodir

git clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou

这样会在项目文件夹中新建repodir文件夹，其中是huixiangdou语料

继续修改配置

回到项目文件夹

mv ./resource/good_questions.json resource/good_questions_bk.json

echo '[
    "mmpose中怎么调用mmyolo接口",
    "mmpose实现姿态估计后怎么实现行为识别",
    "mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth   现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作",
    "在mmdetection中，如何同时加载两个数据集，两个dataloader",
    "如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？",
    "1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，",
    "mmpose 测试 map 一直是 0 怎么办？",
    "如何使用mmpose检测人体关键点？",
    "我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注",
    "如何生成openmmpose的c++推理脚本",
    "mmpose",
    "mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件",
    "mmpose可以实现行为识别吗，如果要实现的话应该怎么做",
    "我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了",
    "mac m1从源码安装的mmpose是x86_64的",
    "想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？",
    "huixiangdou 是什么？",
    "使用科研仪器需要注意什么？",
    "huixiangdou 是什么？",
    "茴香豆 是什么？",
    "茴香豆 能部署到微信吗？",
    "茴香豆 怎么应用到飞书",
    "茴香豆 能部署到微信群吗？",
    "茴香豆 怎么应用到飞书群",
    "huixiangdou 能部署到微信吗？",
    "huixiangdou 怎么应用到飞书",
    "huixiangdou 能部署到微信群吗？",
    "huixiangdou 怎么应用到飞书群",
    "huixiangdou",
    "茴香豆",
    "茴香豆 有哪些应用场景",
    "huixiangdou 有什么用",
    "huixiangdou 的优势有哪些？",
    "茴香豆 已经应用的场景",
    "huixiangdou 已经应用的场景",
    "huixiangdou 怎么安装",
    "茴香豆 怎么安装",
    "茴香豆 最新版本是什么",
    "茴香豆 支持哪些大模型",
    "茴香豆 支持哪些通讯软件",
    "config.ini 文件怎么配置",
    "remote_llm_model 可以填哪些模型?"
]' > ./resource/good_questions.json

echo '[
"huixiangdou 是什么？",
"你好，介绍下自己"
]' > ./test_queries.json

然后需要进行文本嵌入

mkdir workdir

python3 -m huixiangdou.service.feature_store --sample ./test_queries.json

等待一段时间后，

嵌入完成，嵌入向量都储存在workdir里面，然后可以测试RAG性能

python3 -m huixiangdou.main --standalone

正确回答

---

以上便是书生·浦语社区茴香豆RAG助手的部署流程，欢迎star：
更多信息，例如配置、优化方法、服务器部署为微信机器人等，可以参考官方文档
https://github.com/InternLM/HuixiangDou