书生·浦语第二期实战营(初夏专场)-作业3
本节课主要通过实战部署“茴香豆”，掌握搭建RAG智能助理的方法，培养实战动手能力。具体任务步骤等环节可参考课程视频（https://www.bilibili.com/video/BV1QA4m1F7t4），并参照文档（https://github.com/InternLM/Tutorial/blob/camp2/huixiangdou）进行逐步操作。
一、介绍RAG
1．RAG概念
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如生成幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。
2．RAG工作原理
延伸阅读：
(1) Chunk：指PC计算机中典型的形实转换程序。在电脑里，为了执行指令，需要在内存段地址和平坦地址之间进行转换。当16位应用程序在32位地址空间进行运行的时候，应用程序的16位段地址必须转化成32位平坦地址，这时候thunk是很容易见到的。另外，如果一个32位程序呼叫一个16位DLL，那么thunk就存在于相反的方向：从32位转变成16位。
3．向量数据库
（1）向量：在数学中，向量（也称为欧几里得向量、几何向量），指具有大小（magnitude）和方向的量。它可以形象化地表示为带箭头的线段。箭头所指：代表向量的方向；线段长度：代表向量的大小。与向量对应的量叫做数量（物理学中称标量），数量（或标量）只有大小，没有方向。在机器学习问题中，通常将特征表示为向量的形式。
（2）向量数据库：是专门用来存储和查询向量的数据库，其存储的向量来自于对文本、语音、图像、视频等的向量化。与传统数据库相比，向量数据库可以处理更多非结构化数据（比如图像和音频）。在机器学习和深度学习中，数据通常以向量形式表示。
（3）dot product点积：在数学中，又称数量积（dot product; scalar product），是指接受在实数R上的两个向量并返回一个实数值标量的二元运算。它是欧几里得空间的标准内积。
4．RAG流程示例
5．RAG发展历程
6．RAG常见优化方法
7．RAG vs Fine-tune
8．LLM模型优化方法比较
9．评估和测试
10．RAG总结
二、茴香豆
1．茴香豆应用介绍
茴香豆应用了 RAG 技术，可以快速、高效的搭建自己的知识领域助手。
2．茴香豆的核心特性
3．架构及构建步骤
（1）茴香豆知识库：目前支持Markdown、PDF、Word、Txt、PPT等常用文件格式，也可设置接受和拒答问题示例来控制来控制助手的回答范围。
（2）前端：国内：微信群、飞书群，国外：Discord、Slack等群聊软件。
（3）LLM后端：茴香豆目前支持调用本地大模型（书生·浦语、通义千问）或远端调用大模型（月之暗面Kimi、ChatGPT、智谱AI ChatGLM、幻方量化DeepSeek）的API
豆哥打通了知识库、前端和后端，形成了一个智能领域的知识问答助手。
4．茴香豆的工作流
通过判断LLM scoring（PPT中scoring拼写错误，但意思可理解，不会产生误解）得分的阈值，可以判断应答助手的形象是个话唠还是一个很严谨的技术专家。
三、茴香豆实战
-
茴香豆Web版演示
https://github.com/InternLM/HuixiangDou/tree/main/web
https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web
（1）创建自己的知识库（上传自己的文档）
（2）上传后可以在窗口进行聊天
（3）设置正例、反例
（4）下载零开发Android版茴香豆App，设定地址，并运行。
按提示操作切换至微信授予权限，茴香豆会扫描屏幕自己决定要不要回答问题。
6．在服务器上部署茴香豆
后续按教程https://github.com/InternLM/Tutorial/blob/camp2/huixiangdou/readme.md步骤操作即可。
基础作业
-
在
InternLM Studio上搭建部署茴香豆技术助手
- 根据教程文档搭建
茴香豆技术助手，针对问题"茴香豆怎么部署到微信群？"进行提问
下载基础文件
复制茴香豆所需模型文件，为了减少下载和避免 HuggingFace 登录问题，所有作业和教程涉及的模型都已经存放在 Intern Studio 开发机共享文件中。本教程选用 InternLM2-Chat-7B 作为基础模型。
# 创建模型文件夹
cd /root && mkdir models
# 创建软链接指向BCE模型
ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1
ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1
# 创建软链接大模型参数（下面的模型，根据作业进度和任务进行**选择一个**就行）
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b
下载安装茴香豆
安装茴香豆运行所需依赖。
# 安装 python 依赖
pip install protobuf==4.25.3 accelerate==0.28.0 aiohttp==3.9.3 auto-gptq==0.7.1 bcembedding==0.1.3 beautifulsoup4==4.8.2 einops==0.7.0 faiss-gpu==1.7.2 langchain==0.1.14 loguru==0.7.2 lxml_html_clean==0.1.0 openai==1.16.1 openpyxl==3.1.2 pandas==2.2.1 pydantic==2.6.4 pymupdf==1.24.1 python-docx==1.1.0 pytoml==0.1.21 readability-lxml==0.8.1 redis==5.0.3 requests==2.31.0 scikit-learn==1.4.1.post1 sentence_transformers==2.2.2 textract==1.6.5 tiktoken==0.6.0 transformers==4.39.3 transformers_stream_generator==0.0.5 unstructured==0.11.2
克隆github repo
cd /root
# 克隆代码仓库
git clone https://github.com/internlm/huixiangdou && cd huixiangdou
git checkout ded0551
修改配置文件
用已下载模型的路径替换 /root/huixiangdou/config.ini 文件中的默认模型，需要修改 3 处模型地址，分别是:
命令行输入下面的命令，修改用于向量数据库和词嵌入的模型
sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini
用于检索的重排序模型
sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' /root/huixiangdou/config.ini
和选用的大模型
sed -i '29s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' /root/huixiangdou/config.ini
创建知识库
下载 Huixiangdou 语料：
cd /root/huixiangdou && mkdir repodir
git clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou
建立接受和拒答两个向量数据库，用来在检索的过程中更加精确的判断提问的相关性，这两个数据库的来源分别是：
-
接受问题列表，希望茴香豆助手回答的示例问题
- 存储在
huixiangdou/resource/good_questions.json 中
- 存储在
-
拒绝问题列表，希望茴香豆助手拒答的示例问题
- 存储在
huixiangdou/resource/bad_questions.json 中 - 其中多为技术无关的主题或闲聊
- 如："huixiangdou是谁", "具体在哪些位置进行修改？", "你是谁？", "1+1"
- 存储在
cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.json
cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.json
echo '[ "mmpose中怎么调用mmyolo接口", "mmpose实现姿态估计后怎么实现行为识别", "mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth 现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作", "在mmdetection中，如何同时加载两个数据集，两个dataloader", "如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？", "1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，", "mmpose 测试 map 一直是 0 怎么办？", "如何使用mmpose检测人体关键点？", "我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注", "如何生成openmmpose的c++推理脚本", "mmpose", "mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件", "mmpose可以实现行为识别吗，如果要实现的话应该怎么做", "我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了", "mac m1从源码安装的mmpose是x86_64的", "想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？", "huixiangdou 是什么？", "使用科研仪器需要注意什么？", "huixiangdou 是什么？", "茴香豆 是什么？", "茴香豆 能部署到微信吗？", "茴香豆 怎么应用到飞书", "茴香豆 能部署到微信群吗？", "茴香豆 怎么应用到飞书群", "huixiangdou 能部署到微信吗？", "huixiangdou 怎么应用到飞书", "huixiangdou 能部署到微信群吗？", "huixiangdou 怎么应用到飞书群", "huixiangdou", "茴香豆", "茴香豆 有哪些应用场景", "huixiangdou 有什么用", "huixiangdou 的优势有哪些？", "茴香豆 已经应用的场景", "huixiangdou 已经应用的场景", "huixiangdou 怎么安装", "茴香豆 怎么安装", "茴香豆 最新版本是什么", "茴香豆 支持哪些大模型", "茴香豆 支持哪些通讯软件", "config.ini 文件怎么配置", "remote_llm_model 可以填哪些模型?"]' > /root/huixiangdou/resource/good_questions.json
再创建一个测试用的问询列表，用来测试拒答流程是否起效：
cd /root/huixiangdou
echo '["huixiangdou 是什么？","你好，介绍下自己"]' > ./test_queries.json
在确定好语料来源后，运行下面的命令，创建 RAG 检索过程中使用的向量数据库：
# 创建向量数据库存储目录
cd /root/huixiangdou && mkdir workdir
# 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json
运行茴香豆知识助手
# 填入问题
sed -i '74s/.*/ queries = ["huixiangdou 是什么？", "茴香豆怎么部署到微信群", "今天天气怎么样？"]/' /root/huixiangdou/huixiangdou/main.py
# 运行茴香豆cd /root/huixiangdou/
python3 -m huixiangdou.main --standalone
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
