RAG是什么如何搭建RAG-----InternLM实战营第二期

 RAG：茴香豆 InternLM2-Chat-7B RAG助理

RAG技术概况（retrieval Augmented Generaton）是一种结合了检索和生成的技术，旨在通过利用外部知识库来增强的LLMs的性能。他通过检索与用户输入的相关信息片段，并结合这些信息来生成更准确，更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。

RAG:工作原理 将知识源如文档或者网页分割成向量并且存储在数据库中 Vector-DB ,接收到用户的问题后,讲问题也编码成向量,并在向量数据库中找到与之最相关的文档块(top-k chunks),将检索到的文档块与原始问题一起做为提示(prompt)输入到LLM中,生成最终的回答.

 

茴香豆是一个基于LLMS的领域知识助手，由书生普语团队开放的大模型应用。

1.专门为即时通讯IM工具中聊天群群聊场景优化工作流，提供及时准确的技术支持和自动化问答服务。

2.通过应用检索增强生成RAG即使，茴香豆能够理解和高效的准确回应与特定知识领域相关的复杂查询，

实操部分：

1.1 配置基础环境

进入开发机后，从官方环境复制运行 InternLM 的基础环境，命名为 InternLM2_Huixiangdou，在命令行模式下运行：

studio-conda -o internlm-base -t InternLM2_Huixiangdou

studio-conda -o internlm-base -t InternLM2_Huixiangdou
# 与 studio-conda 等效的配置方案
# conda create -n InternLM2_Huixiangdou python==3.10 -y
# conda activate InternLM2_Huixiangdou
# conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia 

复制完成后，在本地查看环境。

conda env list

结果如下
# conda environments:
#
base                  *  /root/.conda
InternLM2_Huixiangdou                 /root/.conda/envs/InternLM2_Huixiangdou

运行 conda 命令，激活 InternLM2_Huixiangdou python 虚拟环境:

conda activate InternLM2_Huixiangdou

1.2 下载基础文件

# 创建模型文件夹
cd /root && mkdir models

# 复制BCE模型
ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1
ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1

# 复制大模型参数（下面的模型，根据作业进度和任务进行**选择一个**就行）
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

从茴香豆官方仓库下载茴香豆。

cd /root
# 下载 repo
git clone https://github.com/internlm/huixiangdou && cd huixiangdou
git checkout 447c6f7e68a1657fce1c4f7c740ea1700bde0440

2 使用茴香豆搭建 RAG 助手

2.1 修改配置文件

用已下载模型的路径替换 /root/huixiangdou/config.ini 文件中的默认模型，需要修改 3 处模型地址，分别是:

命令行输入下面的命令，修改用于向量数据库和词嵌入的模型

sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini

用于检索的重排序模型

sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' /root/huixiangdou/config.ini

 和本次选用的大模型

sed -i '29s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' /root/huixiangdou/config.ini

这条命令使用 sed 工具来编辑文件内容。让我们逐步解析这条命令：

1. sed -i: 这是一个使用 sed 的命令，其中 -i 选项表示“就地”编辑，即直接修改文件内容，而不是输出到标准输出。

2. '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#': 这是 sed 的命令脚本。

   • 6: 指定要编辑的行号。这里，它指的是文件中的第6行。

   • s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#: 这是一个替换命令。

     • s: 表示替换操作。
     • #: 在这里用作分隔符。通常，我们使用 / 作为分隔符，但你可以使用其他字符，只要确保开始和结束的分隔符相同。
     • .*: 这是一个正则表达式，匹配第6行的所有内容。. 表示任何字符，* 表示前面的字符（.）可以出现零次或多次。
     • embedding_model_path = "/root/models/bce-embedding-base_v1": 这是替换内容，它将替换第6行的所有内容。

3. /root/huixiangdou/config.ini: 这是要编辑的文件的路径。

所以，这条命令的总体效果是：在 /root/huixiangdou/config.ini 文件的第6行，将原有的内容全部替换为 embedding_model_path = "/root/models/bce-embedding-base_v1"。

然后vim config.ini查看一下是否修改成功：

2.2 创建知识库

cd /root/huixiangdou && mkdir repodir

git clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou

提取知识库特征，创建向量数据库。数据库向量化的过程应用到了 LangChain 的相关模块，默认嵌入和重排序模型调用的网易 BCE 双语模型，如果没有在 config.ini 文件中指定本地模型路径，茴香豆将自动从 HuggingFace 拉取默认模型。

除了语料知识的向量数据库，茴香豆建立接受和拒答两个向量数据库，用来在检索的过程中更加精确的判断提问的相关性，这两个数据库的来源分别是：

• 接受问题列表，希望茴香豆助手回答的示例问题
  • 存储在 huixiangdou/resource/good_questions.json 中
• 拒绝问题列表，希望茴香豆助手拒答的示例问题
  • 存储在 huixiangdou/resource/bad_questions.json 中
  • 其中多为技术无关的主题或闲聊
  • 如："nihui 是谁", "具体在哪些位置进行修改？", "你是谁？", "1+1"

运行下面的命令，增加茴香豆相关的问题到接受问题示例中：

cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.json

echo '[
    "mmpose中怎么调用mmyolo接口",
    "mmpose实现姿态估计后怎么实现行为识别",
    "mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth   现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作",
    "在mmdetection中，如何同时加载两个数据集，两个dataloader",
    "如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？",
    "1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，",
    "mmpose 测试 map 一直是 0 怎么办？",
    "如何使用mmpose检测人体关键点？",
    "我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注",
    "如何生成openmmpose的c++推理脚本",
    "mmpose",
    "mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件",
    "mmpose可以实现行为识别吗，如果要实现的话应该怎么做",
    "我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了",
    "mac m1从源码安装的mmpose是x86_64的",
    "想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？",
    "huixiangdou 是什么？",
    "使用科研仪器需要注意什么？",
    "huixiangdou 是什么？",
    "茴香豆 是什么？",
    "茴香豆 能部署到微信吗？",
    "茴香豆 怎么应用到飞书",
    "茴香豆 能部署到微信群吗？",
    "茴香豆 怎么应用到飞书群",
    "huixiangdou 能部署到微信吗？",
    "huixiangdou 怎么应用到飞书",
    "huixiangdou 能部署到微信群吗？",
    "huixiangdou 怎么应用到飞书群",
    "huixiangdou",
    "茴香豆",
    "茴香豆 有哪些应用场景",
    "huixiangdou 有什么用",
    "huixiangdou 的优势有哪些？",
    "茴香豆 已经应用的场景",
    "huixiangdou 已经应用的场景",
    "huixiangdou 怎么安装",
    "茴香豆 怎么安装",
    "茴香豆 最新版本是什么",
    "茴香豆 支持哪些大模型",
    "茴香豆 支持哪些通讯软件",
    "config.ini 文件怎么配置",
    "remote_llm_model 可以填哪些模型?"
]' > /root/huixiangdou/resource/good_questions.json

再创建一个测试用的问询列表，用来测试拒答流程是否起效：

cd /root/huixiangdou

echo '[
"huixiangdou 是什么？",
"你好，介绍下自己"
]' > ./test_queries.json

在确定好语料来源后，运行下面的命令，创建 RAG 检索过程中使用的向量数据库：

# 创建向量数据库存储目录
cd /root/huixiangdou && mkdir workdir 

# 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json

向量数据库的创建需要等待一小段时间，过程约占用 1.6G 显存。检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词，在知识库中检索 top K 相似的 chunk，综合问题和检索到的 chunk 生成答案。

2.3 运行茴香豆知识助手

# 填入问题
sed -i '74s/.*/    queries = ["huixiangdou 是什么？", "茴香豆怎么部署到微信群", "今天天气怎么样？"]/' /root/huixiangdou/huixiangdou/main.py

# 运行茴香豆
cd /root/huixiangdou/
python3 -m huixiangdou.main --standalone

利用 Gradio 搭建网页 Demo

pip install gradio==4.25.0 redis==5.0.3 flask==3.0.2 lark_oapi==1.2.4

cd /root/huixiangdou
python3 -m tests.test_query_gradio 

 在本地打开命令行工具：

ssh -CNg -L 7860:127.0.0.1:7860 root@ssh.intern-ai.org.cn -p <你的端口号>

ssh -CNg -L 7860:127.0.0.1:7860 root@ssh.intern-ai.org.cn -p 43138

此时服务器端接口已开启。如果在本地服务器使用，直接在浏览器中输入 127.0.0.1:7860 ，即可进入茴香豆对话 Demo 界面。

 

 

 

 

下面是应用茴香豆web版创建属于自己的知识领域回答助手

第一步：打开茴香豆web版网页

https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web

 第二步：输入知识库名称与密码

第三步：选择自己本地的文档进行上传

 第四步：测试结果，测试感觉还是差强人意，总体效果还算不错，虽然有些胡说八道

 联网测试：

 

 

 

文档详细地址

零编程玩转大模型，学习茴香豆部署群聊助手_哔哩哔哩_bilibili

Tutorial/huixiangdou/readme.md at camp2 · InternLM/Tutorial · GitHub