茴香豆：搭建你的RAG智能助理-作业三

本次课程由书生·浦语社区贡献者【北辰】老师讲解【茴香豆：搭建你的 RAG 智能助理】课程。分别是：

• RAG 基础介绍
• 茴香豆产品简介
• 使用茴香豆搭建RAG知识库实战

课程视频：https://www.bilibili.com/video/BV1QA4m1F7t4/

课程文档：https://github.com/InternLM/Tutorial/blob/camp2/huixiangdou/readme.md

这节课布置如下作业：

基础作业：

1. 在茴香豆 Web 版中创建自己领域的知识问答助手

• 参考视频零编程玩转大模型，学习茴香豆部署群聊助手
• 完成不少于 400 字的笔记 + 线上茴香豆助手对话截图(不少于5轮)
• （可选）参考 代码 在自己的服务器部署茴香豆 Web 版

2.在 InternLM Studio 上部署茴香豆技术助手

• 根据教程文档搭建 茴香豆技术助手，针对问题"茴香豆怎么部署到微信群？"进行提问
• 完成不少于 400 字的笔记 + 截图

进阶作

A【应用方向】 结合自己擅长的领域知识（游戏、法律、电子等）、专业背景，搭建个人工作助手或者垂直领域问答助手，参考茴香豆官方文档，部署到下列任一平台。

• 飞书、微信
• 可以使用 茴香豆 Web 版 或 InternLM Studio 云端服务器部署
• 涵盖部署全过程的作业报告和个人助手问答截

B【算法方向】尝试修改 good_questions.json、调试 prompt 或应用其他 NLP 技术，如其他 chunk 方法，提高个人工作助手的表现。

• 完成不少于 400 字的笔记 ，记录自己的尝试和调试思路，涵盖全过程和改进效果截图

1.  在茴香豆 Web 版中创建自己领域的知识问答助手

1.1   给知识库名称取名为：大语言模型从理论到实践

​1.2  从本地上传大规模语言模型 从理论到实践.pdf  

​1.3   设置正反例

​1.4   茴香豆助手对话

 2. 在 InternLM Studio 上部署茴香豆技术助手

2.1  配置基础环境

​2.2  下载相关模型

​2.2  下载安装茴香豆所需要的环境包

​2.3  下载茴香豆代码仓库

2.4   修改配置文件

2.5   创建知识库

​2.6   运行茴香豆知识助手

---

给知识库名称取名为：大语言模型从理论到实践

 1.2  从本地上传大规模语言模型 从理论到实践.pdf  

 1.3   设置正反例

 1.4   茴香豆助手对话

第一轮：简述一下大语言模型的基本概念。

第二轮： 今天天气真好，我们去公园散步吧？顺便去超市买点东西，你有什么需要的吗？

第三轮：在进行大模型训练前，如何对数据处理？

第四轮： 我今天早上起床晚了，差点迟到。你有没有类似的经历？

第五轮：指令数据集如何构造？

 第六轮：如何才能实现模型分布式训练？

 第七轮：大语言模型有哪些应用？

总结：茴香豆对于用户问题理解非常彻底，对于正例问题，它可以从长文本中快速定位答案所在的段落，然后结合问题加上索引出的知识，进行知识问答。对于反例问题，它会拒绝回答。

 2. 在 InternLM Studio 上部署茴香豆技术助手

2.1  配置基础环境

使用 Cuda11.7-conda 镜像，在资源配置中，使用 30% A100 * 1 

从官方环境复制运行 InternLM 的基础环境，命名为 InternLM2_Huixiangdou

studio-conda -o internlm-base -t InternLM2_Huixiangdou

 激活 InternLM2_Huixiangdou python 虚拟环境

conda activate InternLM2_Huixiangdou

 2.2  下载相关模型

# 创建模型文件夹
cd /root && mkdir models

# 复制BCE模型
ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1
ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1

# 复制大模型参数（下面的模型，根据作业进度和任务进行**选择一个**就行）
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

 2.2  下载安装茴香豆所需要的环境包

pip install protobuf==4.25.3 accelerate==0.28.0 aiohttp==3.9.3 auto-gptq==0.7.1 bcembedding==0.1.3 beautifulsoup4==4.8.2 einops==0.7.0 faiss-gpu==1.7.2 langchain==0.1.14 loguru==0.7.2 lxml_html_clean==0.1.0 openai==1.16.1 openpyxl==3.1.2 pandas==2.2.1 pydantic==2.6.4 pymupdf==1.24.1 python-docx==1.1.0 pytoml==0.1.21 readability-lxml==0.8.1 redis==5.0.3 requests==2.31.0 scikit-learn==1.4.1.post1 sentence_transformers==2.2.2 textract==1.6.5 tiktoken==0.6.0 transformers==4.39.3 transformers_stream_generator==0.0.5 unstructured==0.11.2

 2.3  下载茴香豆代码仓库

cd /root
# 克隆代码仓库
git clone https://github.com/internlm/huixiangdou && cd huixiangdou
git checkout 63f2eef0e6e4ac113b05ede0316b193948a42cda

 2.4   修改配置文件

sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini
sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' /root/huixiangdou/config.ini
sed -i '29s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' /root/huixiangdou/config.ini

2.5   创建知识库

下载 Huixiangdou 语料

cd /root/huixiangdou && mkdir repodir

git clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou

 增加茴香豆相关的问题到接受问题示例

cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.json

echo '[
    "mmpose中怎么调用mmyolo接口",
    "mmpose实现姿态估计后怎么实现行为识别",
    "mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth   现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作",
    "在mmdetection中，如何同时加载两个数据集，两个dataloader",
    "如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？",
    "1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，",
    "mmpose 测试 map 一直是 0 怎么办？",
    "如何使用mmpose检测人体关键点？",
    "我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注",
    "如何生成openmmpose的c++推理脚本",
    "mmpose",
    "mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件",
    "mmpose可以实现行为识别吗，如果要实现的话应该怎么做",
    "我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了",
    "mac m1从源码安装的mmpose是x86_64的",
    "想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？",
    "huixiangdou 是什么？",
    "使用科研仪器需要注意什么？",
    "huixiangdou 是什么？",
    "茴香豆 是什么？",
    "茴香豆 能部署到微信吗？",
    "茴香豆 怎么应用到飞书",
    "茴香豆 能部署到微信群吗？",
    "茴香豆 怎么应用到飞书群",
    "huixiangdou 能部署到微信吗？",
    "huixiangdou 怎么应用到飞书",
    "huixiangdou 能部署到微信群吗？",
    "huixiangdou 怎么应用到飞书群",
    "huixiangdou",
    "茴香豆",
    "茴香豆 有哪些应用场景",
    "huixiangdou 有什么用",
    "huixiangdou 的优势有哪些？",
    "茴香豆 已经应用的场景",
    "huixiangdou 已经应用的场景",
    "huixiangdou 怎么安装",
    "茴香豆 怎么安装",
    "茴香豆 最新版本是什么",
    "茴香豆 支持哪些大模型",
    "茴香豆 支持哪些通讯软件",
    "config.ini 文件怎么配置",
    "remote_llm_model 可以填哪些模型?"
]' > /root/huixiangdou/resource/good_questions.json

 再创建一个测试用的问询列表，用来测试拒答流程是否起效：

cd /root/huixiangdou

echo '[
"huixiangdou 是什么？",
"你好，介绍下自己"
]' > ./test_queries.json

 创建 RAG 检索过程中使用的向量数据库

# 创建向量数据库存储目录
cd /root/huixiangdou && mkdir workdir 

# 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json

2.6   运行茴香豆知识助手

填入问题，运行茴香豆

# 填入问题
sed -i '74s/.*/    queries = ["huixiangdou 是什么？", "茴香豆怎么部署到微信群", "今天天气怎么样？"]/' /root/huixiangdou/huixiangdou/main.py

# 运行茴香豆
cd /root/huixiangdou/
python3 -m huixiangdou.main --standalone

 茴香豆技术助理对“茴香豆怎么部署到微信群”回答的结果