使用茴香豆搭建RAG助手
-
初始化环境
# studio-conda -o internlm-base -t huixiangdou # conda activate huixiangdou
-
下载或者拷贝模型文件
-
使用modelscope下载
#模型下载 from modelscope import snapshot_download model_dir = snapshot_download('maidalun/bce-embedding-base_v1') model_dir = snapshot_download('maidalun/bce-reranker-base_v1')bce-embedding-base_v1: 中英双语，及其跨语种embedding模型for RAG
bce-reranker-base_v1: 中英日韩，及其跨语种reranker模型for RAG
-
拷贝share目录下的模型
# ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1 # ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1 # internlm2-chat-7b 之前课程已做好软连接不用动 # ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b
-
-
下载代码，并切换到教程的提交点，安装依赖
# git clone https://github.com/InternLM/HuixiangDou.git && cd HuixiangDou # git checkout 447c6f7e68a1657fce1c4f7c740ea1700bde0440 # pip install -r requirments.txt # pip install protobuf==4.25.3 accelerate==0.28.0 aiohttp==3.9.3 auto-gptq==0.7.1 bcembedding==0.1.3 beautifulsoup4==4.8.2 einops==0.7.0 faiss-gpu==1.7.2 langchain==0.1.14 loguru==0.7.2 lxml_html_clean==0.1.0 openai==1.16.1 openpyxl==3.1.2 pandas==2.2.1 pydantic==2.6.4 pymupdf==1.24.1 python-docx==1.1.0 pytoml==0.1.21 readability-lxml==0.8.1 redis==5.0.3 requests==2.31.0 scikit-learn==1.4.1.post1 sentence_transformers==2.2.2 textract==1.6.5 tiktoken==0.6.0 transformers==4.39.3 transformers_stream_generator==0.0.5 unstructured==0.11.2
-
修改配置
# 修改文件/root/huixiangdou/config.ini第6,7,29行， 替换为目标位置模型文件
-
创建知识库
-
下载茴香豆知识库语料,使用 InternLM 的 Huixiangdou 文档作为新增知识数据检索来源，在不重新训练的情况下，打造一个 Huixiangdou 技术问答助手。
# cd /root/codes/huixiangdou && mkdir repodir # git clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou
提取知识库特征，创建向量数据库。数据库向量化的过程应用到了 LangChain 的相关模块，默认嵌入和重排序模型调用的网易 BCE 双语模型，如果没有在
config.ini文件中指定本地模型路径，茴香豆将自动从 HuggingFace 拉取默认模型。除了语料知识的向量数据库，茴香豆建立接受和拒答两个向量数据库，用来在检索的过程中更加精确的判断提问的相关性，这两个数据库的来源分别是：
-
接受问题列表，希望茴香豆助手回答的示例问题
-
存储在
huixiangdou/resource/good_questions.json中
-
-
拒绝问题列表，希望茴香豆助手拒答的示例问题
-
存储在
huixiangdou/resource/bad_questions.json中 -
其中多为技术无关的主题或闲聊
-
如："nihui 是谁", "具体在哪些位置进行修改？", "你是谁？", "1+1"
-
-
运行下面的命令，增加茴香豆相关的问题到接受问题示例中：
-
-
增加茴香豆相关问题到可接受问题：
-
# cd /root/codes/huixiangdou # mv resource/good_questions.json resource/good_questions_bk.json # echo '[ "mmpose中怎么调用mmyolo接口", "mmpose实现姿态估计后怎么实现行为识别", "mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth 现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作", "在mmdetection中，如何同时加载两个数据集，两个dataloader", "如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？", "1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，", "mmpose 测试 map 一直是 0 怎么办？", "如何使用mmpose检测人体关键点？", "我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注", "如何生成openmmpose的c++推理脚本", "mmpose", "mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件", "mmpose可以实现行为识别吗，如果要实现的话应该怎么做", "我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了", "mac m1从源码安装的mmpose是x86_64的", "想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？", "huixiangdou 是什么？", "使用科研仪器需要注意什么？", "huixiangdou 是什么？", "茴香豆 是什么？", "茴香豆 能部署到微信吗？", "茴香豆 怎么应用到飞书", "茴香豆 能部署到微信群吗？", "茴香豆 怎么应用到飞书群", "huixiangdou 能部署到微信吗？", "huixiangdou 怎么应用到飞书", "huixiangdou 能部署到微信群吗？", "huixiangdou 怎么应用到飞书群", "huixiangdou", "茴香豆", "茴香豆 有哪些应用场景", "huixiangdou 有什么用", "huixiangdou 的优势有哪些？", "茴香豆 已经应用的场景", "huixiangdou 已经应用的场景", "huixiangdou 怎么安装", "茴香豆 怎么安装", "茴香豆 最新版本是什么", "茴香豆 支持哪些大模型", "茴香豆 支持哪些通讯软件", "config.ini 文件怎么配置", "remote_llm_model 可以填哪些模型?" ]' > /root/codes/huixiangdou/resource/good_questions.json
创建测试用的问询列表，用来测试拒答流程是否生效：
# cd /root/codes/huixiangdou # echo '[ "huixiangdou 是什么？", "你好，介绍下自己" ]' > ./test_queries.json
在确定好语料来源后，运行下面的命令，创建 RAG 检索过程中使用的向量数据库：
# 创建向量数据库存储目录 # cd /root/codes/huixiangdou && mkdir workdir # # 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir # python3 -m huixiangdou.service.feature_store --sample ./test_queries.json
中间遇到context_max_length超长的错误，暂时修改文件/root/codes/huixiangdou/huixiangdou/service/retriever.py第109行 context_max_length: int = 20000,绕过
-
运行茴香豆只是助手
修改代码, 输入问题
# vim /root/codes/huixiangdou/huixiangdou/main.py (74行的位置) def lark_send_only(assistant, fe_config: dict): queries = ["huixiangdou 是什么？", "茴香豆怎么部署到微信群", "今天天气怎么样？"] for query in queries: code, reply, references = assistant.generate(query=query,
运行命令
cd /root/codes/huixiangdou/ python3 -m huixiangdou.main --standalone
-
茴香豆进阶
-
使用网络检索回答问题，加入网络
使用serper提供的API， 到Serper - The World's Fastest and Cheapest Google Search API 注册
-
拷贝APIkey并修改/root/codes/huixiangdou/config.ini中的${YOUR-API-KEY}
-
[web_search] # check https://serper.dev/api-key to get a free API key x_api_key = "${YOUR-API-KEY}" domain_partial_order = ["openai.com", "pytorch.org", "readthedocs.io", "nvidia.com", "stackoverflow.com", "juejin.cn", "zhuanlan.zhihu.com", "www.cnblogs.com"] save_dir = "logs/web_search_result"其中domain_partial_order为可搜索范围
-
利用gradio搭建网页demo
-
安装依赖
# pip install gradio==4.25.0 redis==5.0.3 flask==3.0.2 lark_oapi==1.2.4
-
运行茴香豆demo
cd /root/codes/huixiangdou python3 -m tests.test_query_gradio
* 有异常会去删除config.ini*
程序还是存在不少bug
-
-
再次增加config.ini运行依旧不正常web端输出
-
修改代码暂时写死
正常返回
-
2616
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
