【InternLM】茴香豆：搭建你的 RAG 智能助理（二）

在 InternLM Studio 开发机上部署茴香豆技术助手

配置环境

studio-conda -o internlm-base -t InternLM2_Huixiangdou
conda activate InternLM2_Huixiangdou

复制模型、下载安装茴香豆

# 复制BCE模型
ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1
ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1

# 复制大模型参数（下面的模型，根据作业进度和任务进行**选择一个**就行）
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

cd /root
# 下载 repo
git clone https://github.com/internlm/huixiangdou && cd huixiangdou
git checkout 447c6f7e68a1657fce1c4f7c740ea1700bde0440

使用茴香豆搭建 RAG 助手

修改配置文件（向量数据库、词嵌入的模型、重排序模型、基座大模型）

sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini
sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' /root/huixiangdou/config.ini
sed -i '29s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' /root/huixiangdou/config.ini

创建知识库

下载Huixiangdou语料

cd /root/huixiangdou && mkdir repodir
git clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou

增加茴香豆相关的问题到接受问题huixiangdou/resource/good_questions.json示例中

cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.json

echo '[
    "mmpose中怎么调用mmyolo接口",
    "mmpose实现姿态估计后怎么实现行为识别",
    "mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth   现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作",
    "在mmdetection中，如何同时加载两个数据集，两个dataloader",
    "如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？",
    "1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，",
    "mmpose 测试 map 一直是 0 怎么办？",
    "如何使用mmpose检测人体关键点？",
    "我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注",
    "如何生成openmmpose的c++推理脚本",
    "mmpose",
    "mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件",
    "mmpose可以实现行为识别吗，如果要实现的话应该怎么做",
    "我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了",
    "mac m1从源码安装的mmpose是x86_64的",
    "想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？",
    "huixiangdou 是什么？",
    "使用科研仪器需要注意什么？",
    "huixiangdou 是什么？",
    "茴香豆 是什么？",
    "茴香豆 能部署到微信吗？",
    "茴香豆 怎么应用到飞书",
    "茴香豆 能部署到微信群吗？",
    "茴香豆 怎么应用到飞书群",
    "huixiangdou 能部署到微信吗？",
    "huixiangdou 怎么应用到飞书",
    "huixiangdou 能部署到微信群吗？",
    "huixiangdou 怎么应用到飞书群",
    "huixiangdou",
    "茴香豆",
    "茴香豆 有哪些应用场景",
    "huixiangdou 有什么用",
    "huixiangdou 的优势有哪些？",
    "茴香豆 已经应用的场景",
    "huixiangdou 已经应用的场景",
    "huixiangdou 怎么安装",
    "茴香豆 怎么安装",
    "茴香豆 最新版本是什么",
    "茴香豆 支持哪些大模型",
    "茴香豆 支持哪些通讯软件",
    "config.ini 文件怎么配置",
    "remote_llm_model 可以填哪些模型?"
]' > /root/huixiangdou/resource/good_questions.json

再创建一个测试用的问询列表，用来测试拒答流程是否起效：

cd /root/huixiangdou

echo '[
"huixiangdou 是什么？",
"你好，介绍下自己"
]' > ./test_queries.json

创建 RAG 检索过程中使用的向量数据库：

# 创建向量数据库存储目录
cd /root/huixiangdou && mkdir workdir 

# 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json

运行茴香豆知识助手

测试效果

# 填入问题
sed -i '74s/.*/    queries = ["huixiangdou 是什么？", "茴香豆怎么部署到微信群", "今天天气怎么样？"]/' /root/huixiangdou/huixiangdou/main.py

# 运行茴香豆
cd /root/huixiangdou/
python3 -m huixiangdou.main --standalone

good question：“茴香豆怎么部署到微信群”效果

• 首先判断是否是疑问句：是（8/10分）
• 确定句子主题：“茴香豆的微信部署”
• 找到相关材料：“README_zh.md”（8/10分）

茴香豆的最终回答

bad question：“今天天气怎么样”效果

• 首先判断是否是疑问句：是
• 确定句子主题：天气
• 由于该句子和知识库无关，所以不输出任何回答。
  
  奇怪的是，当把问题“茴香豆怎么部署到微信群”改为“茴香豆怎么部署到微信群？”（仅仅多了一个问号）

茴香豆就拒绝回答了，明明确定的主题也是一样的

在茴香豆 Web 版中创建自己领域的知识问答助手

茴香豆web版链接：openxlab.org.cn/huixiangdou-web

视频教学链接：零编程玩转大模型，学习茴香豆部署群聊助手_哔哩哔哩_bilibili

知识库搭建

上传了一篇百图生科做的生物领域大模型 文献，作为知识库，并且添加了正反例问题示例

设置正例

设置反例

开始对话

前三轮，先问了和文献密切相关的问题，茴香豆都准确地调用了知识库作为回答，并且回答的都是正确的



第四轮，试图闲聊，被识破了，没输出回答

第五轮问了一个比较模糊，容易混淆的问题。本来想问的是茴香豆的基座模型，但是被理解成了知识库中scfoundation的基座模型。可能我这个问题问的也不是特别严谨

确定主语，再问一遍，检查成了非问题，还是不错的，没有胡编乱造

看来我的正反例设置的还是比较成功的？非技术性的问题，茴香豆都不回答我

另外，茴香豆对公式的问答不友好，latex格式没能很好地转化

茴香豆部署到飞书群组

教程链接：‌‍​⁤‌‍⁤⁡⁣⁡⁡‬⁡‍⁤⁣⁢⁢​‍​⁡​⁤⁤⁤‍​​​⁡⁤⁤​⁣⁤‍​​‍​⁡​⁢​‌茴香豆零编程接入飞书 - 飞书云文档 (feishu.cn)

教程非常详细，主要分为三步：

• 在飞书开放平台，创建企业自建应用，添加机器人
• 在 茴香豆web知识库 和 飞书机器人 之间连接配置
• 将配置好的机器人添加到飞书群聊

机器人创建并配置完成

在飞书群聊中添加机器人

完成！！！

但是同样的问题，茴香豆web版的回答很详细，但是部署到飞书之后，就主打一个精炼（惜字如金）了~