书生·浦语大模型实战：部署InternLM Studio“茴香豆”知识助手（lesson 3）

xazds

已于 2024-06-05 06:57:32 修改

阅读量846

点赞数 16

分类专栏： AI 文章标签： python 运维 github ai 语言模型

于 2024-05-14 23:45:22 首次发布

本文链接：https://blog.csdn.net/weixin_39291058/article/details/138853699

版权

AI 专栏收录该内容

14 篇文章 0 订阅

订阅专栏

书生·浦语大模型实战系列文章目录

书生·浦语大模型全链路开源体系发展历程和特点（lesson 1）
部署 InternLM2-Chat-1.8B（lesson 2-1）
部署八戒demo InternLM2-Chat-1.8B（lesson 2-2）
部署InternLM2-Chat-7B 模型（lesson 2-3）
部署浦语·灵笔2 模型（lesson 2-4）
部署InternLM Studio“茴香豆”知识助手（lesson 3）
XTuner 微调 LLM: 1.8B、多模态和 Agent（lesson 4）
LMDeploy 量化部署 LLM & VLM 实践（lesson 5）
Lagent & AgentLego 智能体应用搭建（lesson 6）
OpenCompass 大模型评测实战（lesson 7）

书生·浦语实战营（二期）：部署InternLM Studio“茴香豆”知识助手

书生·浦语大模型实战系列文章目录
前言
一、LLMs存在的问题和RAG的应用方向
二、RAG 工作原理
2.1 RAG 常见优化方法：
- 2.2 RAG 和微调（Fine-tuning）的对比
- 2.3 LLM 模型优化方法比较
三、茴香豆介绍
三、茴香豆部署
四、使用茴香豆搭建 RAG 助手
小结

前言

RAG（Retrieval Augmented Generation）是一种结合了检索（Retrieval）和生成（Generation）的技术，旨在通过利用外部知识库来增强大型语言模型（LLMs）的性能。它通过检索与用户输入相关的信息片段，并结合这些
信息来生成更准确、更丰富的回答。

一、LLMs存在的问题和RAG的应用方向

在这里插入图片描述

二、RAG 工作原理

在这里插入图片描述
通过向量数据库（Vector-DB）技术，进行数据存储。将文本及其他数据通过其他预训练的模型转换为固定长度的向量表示，这些向量能够捕捉文本的语义信息。
使用更高级的文本编码技术，如句子嵌入或段落嵌入，以及对数据库进行优化以支持大规模向量搜索。
根据用户的查询向量，使用向量数据库快速找出最相关的向量的过程。通常通过计算余弦相似度或其他相似性度量来完成。检索结果根据相似度得分进行排序，最相关的文档将被用于后续的文本生成。
RAG的工作流程：
在这里插入图片描述

2.1 RAG 常见优化方法：

索引优化Indexing Optimization： 细粒度分割（Chunk）、元数据；

查询优化Query Optimization： 查询扩展、转换、多查询；
嵌入优化Embedding Optimization： 结合稀疏和密集、检索、多任务；
上下文管理Context Curation： 重排（rerank）、上下文选择/压缩；
LLM微调LLM Fine-tuning： 检索微调、生成微调、双重微调；
迭代检索Iterative Retrieval： 根据初始查询和生成过的文本进行重复搜索；
递归检索Recursive Retrieval： 迭代细化搜索查询、链式推理（Chain- of-Thought）指导检索过程；
自适应检索Adaptive Retrieval： Flare，Self-RAG、使用LLMs主动决定检索的最佳时机和内容。

2.2 RAG 和微调（Fine-tuning）的对比

在这里插入图片描述

2.3 LLM 模型优化方法比较

在这里插入图片描述

三、茴香豆介绍

在这里插入图片描述

茴香豆是一个基于LLMs的领域知识助手，由书生浦语团队开发的开源大模型应用。
• 专为即时通讯（IM）工具中的群聊场景优化的工作流，提供及时准确的技术支持和自动化问答服务。
• 通过应用检索增强生成（RAG）技术，茴香豆能够理解和搞笑准确的回应与特定知识领域相关的复杂查询。

开源地址：https://github.com/InternLM/HuixiangDou

3.1 应用场景

智能客服：技术支持、领域知识对话
IM工具中创建用户群组，讨论、解答相关的问题。
随着用户数量的增加，答复内容高度重复，充斥大量无意义和闲聊，人工回复，成本高，影响工作效率。
茴香豆通过提供自动化的问答支持，帮助维护者减轻负担，同时确保用户问题得到有效解答。

3.2 场景难点

群聊中的信息量巨大，且内容多样，从技术讨论到闲聊应有尽有。
用户问题通常与个人紧密相关，需要准确的实时的专业知识解答。
传统的NLP解决方案无法准确解析用户意图，且往往无法提供满意的答案。
需要一个能够在群聊中准确识别与回答相关问题的智能助手，同时避免造成消息过载。

3.3 组成

在这里插入图片描述

3.4 工作流

在这里插入图片描述

多来源检索：向量数据库、网络搜索结果、混合文件夹
混合大模型：本地LLM、远程LLM
多重评分：拒答工作流、回答有效、避免信息泛滥
安全检查：多种手段，确保回答合规

三、茴香豆部署

3.1 环境设置

进入开发机后，从官方环境复制运行 InternLM 的基础环境，命名为 InternLM2_Huixiangdou。具体操作在命令行模式下运行：

studio-conda -o internlm-base -t InternLM2_Huixiangdou

开始安装，经过近十几分钟的滚屏等待，感觉到服务器那点算力点可能不够用了。

在这里插入图片描述
终于结束了，查看一下环境。

conda env list

结果如下：

(base) root@intern-studio-50092202:~/demo# conda env list
# conda environments:
#
base                  *  /root/.conda
InternLM2_Huixiangdou     /root/.conda/envs/InternLM2_Huixiangdou
demo                     /root/.conda/envs/demo

3.2 激活 InternLM2_Huixiangdou python 虚拟环境

conda activate InternLM2_Huixiangdou

执行结果如下：

(base) root@intern-studio-50092202:~/demo# conda activate InternLM2_Huixiangdou
(InternLM2_Huixiangdou) root@intern-studio-50092202:~/demo#

在这里插入图片描述

后续启动任何操作都需要执行这一句，重启开发机或打开新命令行后，也要重新激活环境。

3.3 下载基础文件

复制茴香豆所需模型文件，本次操作选用 InternLM2-Chat-7B 作为基础模型。

因为所有作业和教程涉及的模型都已经存放在 Intern Studio 开发机共享文件中，避免了HuggingFace 登录和下载问题，方便很多。

3.3.1 创建模型文件夹

(InternLM2_Huixiangdou) root@intern-studio-50092202:~/demo# cd /root && mkdir models

报错了：

mkdir: cannot create directory ‘models’: File exists

3.3.2 复制BCE模型

(InternLM2_Huixiangdou) root@intern-studio-50092202:~# ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1
(InternLM2_Huixiangdou) root@intern-studio-50092202:~# ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1

3.3.3 复制大模型参数

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b
ln: failed to create symbolic link '/root/models/internlm2-chat-7b/internlm2-chat-7b': Read-only file system

建立链接失败，似乎读写权限不够。

3.4 下载安装茴香豆

3.4.1 安装运行所需依赖。

# 安装 python 依赖
# pip install -r requirements.txt

pip install protobuf==4.25.3 accelerate==0.28.0 aiohttp==3.9.3 auto-gptq==0.7.1 bcembedding==0.1.3 beautifulsoup4==4.8.2 einops==0.7.0 faiss-gpu==1.7.2 langchain==0.1.14 loguru==0.7.2 lxml_html_clean==0.1.0 openai==1.16.1 openpyxl==3.1.2 pandas==2.2.1 pydantic==2.6.4 pymupdf==1.24.1 python-docx==1.1.0 pytoml==0.1.21 readability-lxml==0.8.1 redis==5.0.3 requests==2.31.0 scikit-learn==1.4.1.post1 sentence_transformers==2.2.2 textract==1.6.5 tiktoken==0.6.0 transformers==4.39.3 transformers_stream_generator==0.0.5 unstructured==0.11.2

## 因为 Intern Studio 不支持对系统文件的永久修改，在 Intern Studio 安装部署的同学不建议安装 Word 依赖，后续的操作和作业不会涉及 Word 解析。
## 想要自己尝试解析 Word 文件的同学，uncomment 掉下面这行，安装解析 .doc .docx 必需的依赖
# apt update && apt -y install python-dev python libxml2-dev libxslt1-dev antiword unrtf poppler-utils pstotext tesseract-ocr flac ffmpeg lame libmad0 libsox-fmt-mp3 sox libjpeg-dev swig libpulse-dev

在这里插入图片描述

3.4.2 从官方仓库下载茴香豆

cd /root
# 克隆代码仓库
git clone https://github.com/internlm/huixiangdou && cd huixiangdou
git checkout 63f2eef0e6e4ac113b05ede0316b193948a42cda

在这里插入图片描述
到这里，茴香豆在 Intern Studio 开发机的安装结束。

四、使用茴香豆搭建 RAG 助手

4.1 修改配置文件

用已下载模型的路径替换 /root/huixiangdou/config.ini 文件中的默认模型，需要修改 3 处模型地址，分别是:

4.1.1 修改用于向量数据库和词嵌入的模型

sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini

4.1.2 修改用于向量数据库和词嵌入的模型

sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' /root/huixiangdou/config.ini

4.1.3 修改用于向量数据库和词嵌入的模型

sed -i '29s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' /root/huixiangdou/config.ini

在这里插入图片描述
配置文件具体含义和更多细节，参考配置文件解析。

4.2 创建知识库

使用 InternLM 的 Huixiangdou 文档作为新增知识数据检索来源，无需重新训练，建立一个 Huixiangdou 技术问答助手。

4.2.1 下载 Huixiangdou 语料：

cd /root/huixiangdou && mkdir repodir

git clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou

在这里插入图片描述
提取知识库特征，创建向量数据库。
数据库向量化的过程应用到了 LangChain 的相关模块，默认嵌入和重排序模型调用的网易 BCE 双语模型。如果没有在 config.ini 文件中指定本地模型路径，茴香豆将自动从 HuggingFace 拉取默认模型。
除了语料知识的向量数据库，茴香豆建立接受和拒答两个向量数据库，用来在检索的过程中更加精确的判断提问的相关性，这两个数据库的来源分别是：

接受问题列表，希望茴香豆助手回答的示例问题，存储在huixiangdou/resource/good_questions.json 中
拒绝问题列表，希望茴香豆助手拒答的示例问题，存储在 huixiangdou/resource/bad_questions.json 中
其中多为技术无关的主题或闲聊，如：“nihui 是谁”, “具体在哪些位置进行修改？”, “你是谁？”, “1+1”
运行下面的命令，增加茴香豆相关的问题到接受问题示例中：

cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.json

echo '[
    "mmpose中怎么调用mmyolo接口",
    "mmpose实现姿态估计后怎么实现行为识别",
    "mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth   现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作",
    "在mmdetection中，如何同时加载两个数据集，两个dataloader",
    "如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？",
    "1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，",
    "mmpose 测试 map 一直是 0 怎么办？",
    "如何使用mmpose检测人体关键点？",
    "我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注",
    "如何生成openmmpose的c++推理脚本",
    "mmpose",
    "mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件",
    "mmpose可以实现行为识别吗，如果要实现的话应该怎么做",
    "我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了",
    "mac m1从源码安装的mmpose是x86_64的",
    "想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？",
    "huixiangdou 是什么？",
    "使用科研仪器需要注意什么？",
    "huixiangdou 是什么？",
    "茴香豆 是什么？",
    "茴香豆 能部署到微信吗？",
    "茴香豆 怎么应用到飞书",
    "茴香豆 能部署到微信群吗？",
    "茴香豆 怎么应用到飞书群",
    "huixiangdou 能部署到微信吗？",
    "huixiangdou 怎么应用到飞书",
    "huixiangdou 能部署到微信群吗？",
    "huixiangdou 怎么应用到飞书群",
    "huixiangdou",
    "茴香豆",
    "茴香豆 有哪些应用场景",
    "huixiangdou 有什么用",
    "huixiangdou 的优势有哪些？",
    "茴香豆 已经应用的场景",
    "huixiangdou 已经应用的场景",
    "huixiangdou 怎么安装",
    "茴香豆 怎么安装",
    "茴香豆 最新版本是什么",
    "茴香豆 支持哪些大模型",
    "茴香豆 支持哪些通讯软件",
    "config.ini 文件怎么配置",
    "remote_llm_model 可以填哪些模型?"
]' > /root/huixiangdou/resource/good_questions.json

在这里插入图片描述
再创建一个测试用的问询列表，用来测试拒答流程是否起效：

cd /root/huixiangdou

echo '[
"huixiangdou 是什么？",
"你好，介绍下自己"
]' > ./test_queries.json

在这里插入图片描述
在确定好语料来源后，运行下面的命令，创建 RAG 检索过程中使用的向量数据库：

# 创建向量数据库存储目录
cd /root/huixiangdou && mkdir workdir 

# 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json

向量数据库的创建需要等待一小段时间，过程约占用 1.6G 显存。
在这里插入图片描述

完成后，Huixiangdou 相关的新增知识就以向量数据库的形式存储在 workdir 文件夹下。

检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词，在知识库中检索 top K 相似的 chunk，综合问题和检索到的 chunk 生成答案。

4.3 运行茴香豆知识助手

我们已经提取了知识库特征，并创建了对应的向量数据库。现在，让我们来测试一下效果：

命令行运行：

# 填入问题
sed -i '74s/.*/    queries = ["huixiangdou 是什么？", "茴香豆怎么部署到微信群", "今天天气怎么样？"]/' /root/huixiangdou/huixiangdou/main.py

# 运行茴香豆
cd /root/huixiangdou/
python3 -m huixiangdou.main --standalone

运行时还需要下载一些东西：在这里插入图片描述

2024-05-14 23:18:53.151 | DEBUG    | huixiangdou.service.llm_server_hybrid:generate_response:522 - Q:://www.youtube.com/watch?v=ylXrT-Tei-Y) and [BiliBili](http”
 问题：“huixiangdou 是什么？” 
 请仔细阅读参考材料回答问题 A:HuixiangDou 是一个基于 LLM（大型语言模型）的群组聊天助手。它设计了一个两阶段管道，以处理群组聊天场景，并回答用户问题，而不会导致信息过载。HuixiangDou 具有以下优势：
1. 两阶段管道：HuixiangDou 使用两阶段管道来处理群组聊天场景，以避免信息过载。第一阶段是拒绝，第二阶段是响应。
2. 低成本：HuixiangDou 只需要 1.5GB 的内存，并且不需要进行训练。
3. 完整套件：HuixiangDou 提供了 Web、Android 和 pipeline 的完整源代码，这些代码是工业级和商业可行的。
HuixiangDou 的 Web 门户可以在 [OpenXLab](https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web) 上使用，您可以在这里构建自己的知识助手，而无需任何编码，使用 WeChat 和 Feishu 群组。
要了解更多信息，请访问 [HuixiangDou 内部运行场景](./huixiangdou-inside.md) 并加入 [WeChat 群组](resource/figures/wechat.jpg) 以尝试 AI 助手内部。                remote local timecost 11.009778499603271 
05/14/2024 23:18:53 - [INFO] -aiohttp.access->>>    127.0.0.1 [14/May/2024:23:18:42 +0800] "POST /inference HTTP/1.1" 200 1906 "-" "python-requests/2.31.0"
2024-05-14 23:18:53.152 | INFO     | __main__:lark_send_only:79 - ErrorCode.SUCCESS, huixiangdou 是什么？, HuixiangDou 是一个基于 LLM（大型语言模型）的群组聊天助手。它设计了一个两阶段管道，以处理群组聊天场景，并回答用户问题，而不会导致信息过载。HuixiangDou 具有以下优势：
1. 两阶段管道：HuixiangDou 使用两阶段管道来处理群组聊天场景，以避免信息过载。第一阶段是拒绝，第二阶段是响应。
2. 低成本：HuixiangDou 只需要 1.5GB 的内存，并且不需要进行训练。
3. 完整套件：HuixiangDou 提供了 Web、Android 和 pipeline 的完整源代码，这些代码是工业级和商业可行的。
HuixiangDou 的 Web 门户可以在 [OpenXLab](https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web) 上使用，您可以在这里构建自己的知识助手，而无需任何编码，使用 WeChat 和 Feishu 群组。
要了解更多信息，请访问 [HuixiangDou 内部运行场景](./huixiangdou-inside.md) 并加入 [WeChat 群组](resource/figures/wechat.jpg) 以尝试 AI 助手内部。, ['README.md']
2024-05-14 23:18:55.801 | INFO     | huixiangdou.service.llm_server_hybrid:generate_response:519 - ('“茴香豆怎么部署到微信群”\n请仔细阅读以上内容，判断句子是否是个有主题的疑问句，结果用 0～10 表示。直接提供得分不要解释。\n判断标准：有主语谓语宾语并且是疑问句得 10 分；缺少主谓宾扣分；陈述句直接得 0 分；不是疑问句直接得 0 分。直接提供得分不要解释。', '8.0\n\n该句子是一个有主语、谓语和宾语的疑问句，主语是"茴香豆"，谓语是"怎么部署"，宾语是"到微信群"。虽然句子中没有使用"是"、"吗"等疑问词，但句子的结构符合疑问句的特征，因此得分8.0。')
2024-05-14 23:18:55.802 | DEBUG    | huixiangdou.service.llm_server_hybrid:generate_response:522 - Q:有主题的疑问句，结果用 0～10 表示。直接提供得分不要解释。
判断标准：有主语谓语宾语并且是疑问句得 10 分；缺少主谓宾扣分；陈述句直接得 0 分；不是疑问句直接得 0 分。直接提供得分不要解释 A:8.0

该句子是一个有主语、谓语和宾语的疑问句，主语是"茴香豆"，谓语是"怎么部署"，宾语是"到微信群"。虽然句子中没有使用"是"、"吗"等疑问词，但句子的结构符合疑问句的特征，因此得分8.0。            remote local timecost 2.64300799369812 
05/14/2024 23:18:55 - [INFO] -aiohttp.access->>>    127.0.0.1 [14/May/2024:23:18:53 +0800] "POST /inference HTTP/1.1" 200 681 "-" "python-requests/2.31.0"
2024-05-14 23:18:56.110 | INFO     | huixiangdou.service.llm_server_hybrid:generate_response:519 - ('告诉我这句话的主题，直接说主题不要解释：“茴香豆怎么部署到微信群”', '主题：茴香豆的微信部署。')
2024-05-14 23:18:56.111 | DEBUG    | huixiangdou.service.llm_server_hybrid:generate_response:522 - Q:告诉我这句话的主题，直接说主题不要解释：“茴香豆怎么部署到微信群 A:主题：茴香豆的微信部署。                 remote local timecost 0.30530500411987305 
05/14/2024 23:18:56 - [INFO] -aiohttp.access->>>    127.0.0.1 [14/May/2024:23:18:55 +0800] "POST /inference HTTP/1.1" 200 242 "-" "python-requests/2.31.0"
2024-05-14 23:18:56.419 | INFO     | huixiangdou.service.retriever:query:158 - target README_zh.md file length 10309
2024-05-14 23:18:56.420 | DEBUG    | huixiangdou.service.retriever:query:185 - query:主题：茴香豆的微信部署。 top1 file:README_zh.md
2024-05-14 23:18:56.990 | INFO     | huixiangdou.service.llm_server_hybrid:generate_response:519 - ('问题：“茴香豆怎么部署到微信群”\n材料：“ <img alt="youtube" src="https://img.shields.io/badge/youtube-black?logo=youtube&logocolor=red" />\n</a>\n<a href="https://www.bilibili.com/video/bv1s2421n7mn" target="_blank">\n<img alt="bilibili" src="https://img.shields.io/badge/bilibili-pink?logo=bilibili&logocolor=white" />\n</a>\n<a href="https://discord.gg/tw4zbpzz" target="_blank">\n<img alt="discord" src="https://img.shields.io/badge/discord-red?logo=discord&logocolor=white" />\n</a>\n</div>  \n</div>  \n茴香豆是一个基于 llm 的**群聊**知识助手，优势：  \n1. 设计拒答、响应两阶段 pipeline 应对群聊场景，解答问题同时不会消息泛滥。精髓见论文 2401.08772 和 2405.02817\n2. 成本低至 1.5g 显存，无需训练适用各行业\n3. 提供一整套前后端 web、android、算法源码，工业级开源可商用  \n查看茴香豆已运行在哪些场景；加入微信群直接体验群聊助手效果。  \n如果对你有用，麻烦 star 一下⭐”\n请仔细阅读以上内容，判断问题和材料的关联度，用0～10表示。判断标准：非常相关得 10 分；完全没关联得 0 分。直接提供得分不要解释。\n', '8.0')
2024-05-14 23:18:56.990 | DEBUG    | huixiangdou.service.llm_server_hybrid:generate_response:522 - Q:验群聊助手效果。  
如果对你有用，麻烦 star 一下⭐”
请仔细阅读以上内容，判断问题和材料的关联度，用0～10表示。判断标准：非常相关得 10 分；完全没关联得 0 分。直接提供得分不要解释。 A:8.0             remote local timecost 0.5681126117706299 
05/14/2024 23:18:56 - [INFO] -aiohttp.access->>>    127.0.0.1 [14/May/2024:23:18:56 +0800] "POST /inference HTTP/1.1" 200 173 "-" "python-requests/2.31.0"
2024-05-14 23:18:56.992 | WARNING  | huixiangdou.service.llm_client:generate_response:95 - disable remote LLM while choose remote LLM, auto fixed
2024-05-14 23:19:21.946 | INFO     | huixiangdou.service.llm_server_hybrid:generate_response:519 - ('材料：“ <img alt="youtube" src="https://img.shields.io/badge/youtube-black?logo=youtube&logocolor=red" />\n</a>\n<a href="https://www.bilibili.com/video/bv1s2421n7mn" target="_blank">\n<img alt="bilibili" src="https://img.shields.io/badge/bilibili-pink?logo=bilibili&logocolor=white" />\n</a>\n<a href="https://discord.gg/tw4zbpzz" target="_blank">\n<img alt="discord" src="https://img.shields.io/badge/discord-red?logo=discord&logocolor=white" />\n</a>\n</div>  \n</div>  \n茴香豆是一个基于 llm 的**群聊**知识助手，优势：  \n1. 设计拒答、响应两阶段 pipeline 应对群聊场景，解答问题同时不会消息泛滥。精髓见论文 2401.08772 和 2405.02817\n2. 成本低至 1.5g 显存，无需训练适用各行业\n3. 提供一整套前后端 web、android、算法源码，工业级开源可商用  \n查看茴香豆已运行在哪些场景；加入微信群直接体验群聊助手效果。  \n如果对你有用，麻烦 star 一下⭐\n[English](README.md) | 简体中文\n<div align="center">\n<img src="resource/logo_black.svg" width="555px"/>\n<div align="center">\n <a href="resource/figures/wechat.jpg" target="_blank">\n <img alt="Wechat" src="https://img.shields.io/badge/wechat-robot%20inside-brightgreen?logo=wechat&logoColor=white" />\n </a>\n <a href="https://arxiv.org/abs/2401.08772" target="_blank">\n <img alt="Arxiv" src="https://img.shields.io/badge/arxiv-paper%20-darkred?logo=arxiv&logoColor=white" />\n </a>\n <a href="https://pypi.org/project/huixiangdou" target="_blank">\n <img alt="PyPI" src="https://img.shields.io/badge/PyPI-install-blue?logo=pypi&logoColor=white" />\n </a>\n <a href="https://youtu.be/ylXrT-Tei-Y" target="_blank">\n <img alt="YouTube" src="https://img.shields.io/badge/YouTube-black?logo=youtube&logoColor=red" />\n </a>\n <a href="https://www.bilibili.com/video/BV1S2421N7mn" target="_blank">\n <img alt="BiliBili" src="https://img.shields.io/badge/BiliBili-pink?logo=bilibili&logoColor=white" />\n </a>\n <a href="https://discord.gg/TW4ZBpZZ" target="_blank">\n <img alt="discord" src="https://img.shields.io/badge/discord-red?logo=discord&logoColor=white" />\n </a>\n</div>\n</div>\n茴香豆是一个基于 LLM 的**群聊**知识助手，优势：\n1. 设计拒答、响应两阶段 pipeline 应对群聊场景，解答问题同时不会消息泛滥。精髓见论文 [2401.08772](https://arxiv.org/abs/2401.08772) 和 [2405.02817](https://arxiv.org/abs/2405.02817)\n2. 成本低至 1.5G 显存，无需训练适用各行业\n3. 提供一整套前后端 web、android、算法源码，工业级开源可商用\n查看[茴香豆已运行在哪些场景](./huixiangdou-inside.md)；加入[微信群](resource/figures/wechat.jpg)直接体验群聊助手效果。\n如果对你有用，麻烦 star 一下⭐\n# 🔆 新功能\n茴香豆 Web 版已发布到 [OpenXLab](https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web)，可以创建自己的知识库、更新正反例、开关网络搜索，聊天测试效果后，集成到飞书/微信群。\nWeb 版视频教程见 [BiliBili](https://www.bilibili.com/video/BV1S2421N7mn) 和 [YouTube](https://www.youtube.com/watch?v=ylXrT-Tei-Y)。\n- \\[2024/05\\] 增加[指代消歧微调](./sft/)\n <table>\n <tr>\n  <td>🤗</td>\n  <td><a href="https://huggingface.co/tpoisonooo/HuixiangDou-CR-LoRA-Qwen-14B">LoRA-Qwen1.5-14B</a></td>\n  <td><a href="https://huggingface.co/tpoisonooo/HuixiangDou-CR-LoRA-Qwen-32B">LoRA-Qwen1.5-32B</a></td>\n  <td><a href="https://huggingface.co/datasets/tpoisonooo/HuixiangDou-CR/tree/main">alpaca 数据</a></td>\n  <td><a href="https://arxiv.org/abs/2405.02817">论文</a></td>\n </tr>\n </table>\n- \\[2024/04\\] 实现 [RAG 标注 SFT”\n 问题：“茴香豆怎么部署到微信群” \n 请仔细阅读参考材料回答问题。', '茴香豆是一个基于 LLM 的**群聊**知识助手，它具有以下优势：\n\n1. 设计了拒答、响应两阶段 pipeline 来应对群聊场景，解答问题的同时不会消息泛滥。\n2. 成本低至 1.5G 显存，无需训练，适用于各行业。\n3. 提供一整套前后端 web、android、算法源码，工业级开源可商用。\n\n茴香豆已运行在哪些场景？\n- 查看茴香豆已运行在哪些场景，请参考[huixiangdou-inside.md](./huixiangdou-inside.md)。\n- 加入微信群直接体验群聊助手效果，请参考[微信群](resource/figures/wechat.jpg)。\n\n如果茴香豆对您有帮助，请麻烦 star 一下⭐。\n- 新功能：\n  - 茴香豆 Web 版已发布到 [OpenXLab](https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web)，可以创建自己的知识库、更新正反例、开关网络搜索，聊天测试效果后，集成到飞书/微信群。\n  - Web 版视频教程见 [BiliBili](https://www.bilibili.com/video/BV1S2421N7mn) 和 [YouTube](https://www.youtube.com/watch?v=ylXrT-Tei-Y)。\n- 2024/05 增加[指代消歧微调](./sft/)。\n- 2024/04 实现 [RAG 标注 SFT](./sft/)。\n- 问题：“茴香豆怎么部署到微信群”\n  - 请仔细阅读参考材料回答问题。\n- 参考材料：\n  - 论文：[2401.08772](https://arxiv.org/abs/2401.08772) 和 [2405.02817](https://arxiv.org/abs/2405.02817)\n  - 数据集：[alpaca 数据](https://huggingface.co/datasets/tpoisonooo/HuixiangDou-CR/tree/main)\n  - 模型：[LoRA-Qwen1.5-14B](https://huggingface.co/tpoisonooo/HuixiangDou-CR-LoRA-Qwen-14B) 和 [LoRA-Qwen1.5-32B](https://huggingface.co/tpoisonooo/HuixiangDou-CR-LoRA-Qwen-32B)。\n- 请仔细阅读参考材料回答问题。')
2024-05-14 23:19:21.946 | DEBUG    | huixiangdou.service.llm_server_hybrid:generate_response:522 - Q:02817">论文</a></td>
 </tr>
 </table>
- \[2024/04\] 实现 [RAG 标注 SFT”
 问题：“茴香豆怎么部署到微信群” 
 请仔细阅读参考材料回答问题 A:茴香豆是一个基于 LLM 的**群聊**知识助手，它具有以下优势：

1. 设计了拒答、响应两阶段 pipeline 来应对群聊场景，解答问题的同时不会消息泛滥。
2. 成本低至 1.5G 显存，无需训练，适用于各行业。
3. 提供一整套前后端 web、android、算法源码，工业级开源可商用。

茴香豆已运行在哪些场景？
- 查看茴香豆已运行在哪些场景，请参考[huixiangdou-inside.md](./huixiangdou-inside.md)。
- 加入微信群直接体验群聊助手效果，请参考[微信群](resource/figures/wechat.jpg)。

如果茴香豆对您有帮助，请麻烦 star 一下⭐。
- 新功能：
  - 茴香豆 Web 版已发布到 [OpenXLab](https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web)，可以创建自己的知识库、更新正反例、开关网络搜索，聊天测试效果后，集成到飞书/微信群。
  - Web 版视频教程见 [BiliBili](https://www.bilibili.com/video/BV1S2421N7mn) 和 [YouTube](https://www.youtube.com/watch?v=ylXrT-Tei-Y)。
- 2024/05 增加[指代消歧微调](./sft/)。
- 2024/04 实现 [RAG 标注 SFT](./sft/)。
- 问题：“茴香豆怎么部署到微信群”
  - 请仔细阅读参考材料回答问题。
- 参考材料：
  - 论文：[2401.08772](https://arxiv.org/abs/2401.08772) 和 [2405.02817](https://arxiv.org/abs/2405.02817)
  - 数据集：[alpaca 数据](https://huggingface.co/datasets/tpoisonooo/HuixiangDou-CR/tree/main)
  - 模型：[LoRA-Qwen1.5-14B](https://huggingface.co/tpoisonooo/HuixiangDou-CR-LoRA-Qwen-14B) 和 [LoRA-Qwen1.5-32B](https://huggingface.co/tpoisonooo/HuixiangDou-CR-LoRA-Qwen-32B)。
- 请仔细阅读参考材料回答问题。           remote local timecost 24.952629327774048 
05/14/2024 23:19:21 - [INFO] -aiohttp.access->>>    127.0.0.1 [14/May/2024:23:18:56 +0800] "POST /inference HTTP/1.1" 200 2832 "-" "python-requests/2.31.0"
2024-05-14 23:19:21.958 | INFO     | __main__:lark_send_only:79 - ErrorCode.SUCCESS, 茴香豆怎么部署到微信群, 茴香豆是一个基于 LLM 的**群聊**知识助手，它具有以下优势：

1. 设计了拒答、响应两阶段 pipeline 来应对群聊场景，解答问题的同时不会消息泛滥。
2. 成本低至 1.5G 显存，无需训练，适用于各行业。
3. 提供一整套前后端 web、android、算法源码，工业级开源可商用。

茴香豆已运行在哪些场景？
- 查看茴香豆已运行在哪些场景，请参考[huixiangdou-inside.md](./huixiangdou-inside.md)。
- 加入微信群直接体验群聊助手效果，请参考[微信群](resource/figures/wechat.jpg)。

如果茴香豆对您有帮助，请麻烦 star 一下⭐。
- 新功能：
  - 茴香豆 Web 版已发布到 [OpenXLab](https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web)，可以创建自己的知识库、更新正反例、开关网络搜索，聊天测试效果后，集成到飞书/微信群。
  - Web 版视频教程见 [BiliBili](https://www.bilibili.com/video/BV1S2421N7mn) 和 [YouTube](https://www.youtube.com/watch?v=ylXrT-Tei-Y)。
- 2024/05 增加[指代消歧微调](./sft/)。
- 2024/04 实现 [RAG 标注 SFT](./sft/)。
- 问题：“茴香豆怎么部署到微信群”
  - 请仔细阅读参考材料回答问题。
- 参考材料：
  - 论文：[2401.08772](https://arxiv.org/abs/2401.08772) 和 [2405.02817](https://arxiv.org/abs/2405.02817)
  - 数据集：[alpaca 数据](https://huggingface.co/datasets/tpoisonooo/HuixiangDou-CR/tree/main)
  - 模型：[LoRA-Qwen1.5-14B](https://huggingface.co/tpoisonooo/HuixiangDou-CR-LoRA-Qwen-14B) 和 [LoRA-Qwen1.5-32B](https://huggingface.co/tpoisonooo/HuixiangDou-CR-LoRA-Qwen-32B)。
- 请仔细阅读参考材料回答问题。, ['README_zh.md']
2024-05-14 23:19:23.736 | INFO     | huixiangdou.service.llm_server_hybrid:generate_response:519 - ('“今天天气怎么样？”\n请仔细阅读以上内容，判断句子是否是个有主题的疑问句，结果用 0～10 表示。直接提供得分不要解释。\n判断标准：有主语谓语宾语并且是疑问句得 10 分；缺少主谓宾扣分；陈述句直接得 0 分；不是疑问句直接得 0 分。直接提供得分不要解释。', '根据给定的标准，"今天天气怎么样？" 是一个有主语、谓语和宾语，并且是疑问句的句子。因此，它的得分是 10 分。')
2024-05-14 23:19:23.736 | DEBUG    | huixiangdou.service.llm_server_hybrid:generate_response:522 - Q:有主题的疑问句，结果用 0～10 表示。直接提供得分不要解释。
判断标准：有主语谓语宾语并且是疑问句得 10 分；缺少主谓宾扣分；陈述句直接得 0 分；不是疑问句直接得 0 分。直接提供得分不要解释 A:根据给定的标准，"今天天气怎么样？" 是一个有主语、谓语和宾语，并且是疑问句的句子。因此，它的得分是 10 分。        remote local timecost 1.770806074142456 
05/14/2024 23:19:23 - [INFO] -aiohttp.access->>>    127.0.0.1 [14/May/2024:23:19:21 +0800] "POST /inference HTTP/1.1" 200 474 "-" "python-requests/2.31.0"
2024-05-14 23:19:23.910 | INFO     | huixiangdou.service.llm_server_hybrid:generate_response:519 - ('告诉我这句话的主题，直接说主题不要解释：“今天天气怎么样？”', '主题：天气。')
2024-05-14 23:19:23.910 | DEBUG    | huixiangdou.service.llm_server_hybrid:generate_response:522 - Q:告诉我这句话的主题，直接说主题不要解释：“今天天气怎么样？ A:主题：天气。           remote local timecost 0.17010211944580078 
05/14/2024 23:19:23 - [INFO] -aiohttp.access->>>    127.0.0.1 [14/May/2024:23:19:23 +0800] "POST /inference HTTP/1.1" 200 206 "-" "python-requests/2.31.0"
2024-05-14 23:19:23.922 | INFO     | __main__:lark_send_only:79 - ErrorCode.UNRELATED, 今天天气怎么样？, , ['README.md']

小结

至此，就完成了一个茴香豆知识助手的服务器端部署（基础作业）的全部内容。
后面进阶内容，等待以后的学习完成后再继续进行，最终将茴香豆链接到即时通讯软件或打造自己的茴香豆 Web 版。
这是相关技术报告

这一节内容，看的比较辛苦，关机休息。

xazds

关注

16
点赞
踩
10

收藏

觉得还不错? 一键收藏
2
评论
书生·浦语大模型实战：部署InternLM Studio“茴香豆”知识助手（lesson 3）

RAG（Retrieval Augmented Generation）是一种结合了检索（Retrieval）和生成（Generation）的技术，旨在通过利用外部知识库来增强大型语言模型（LLMs）的性能。它通过检索与用户输入相关的信息片段，并结合这些信息来生成更准确、更丰富的回答。茴香豆是一个基于LLMs的领域知识助手，由书生浦语团队开发的开源大模型应用。• 专为即时通讯（IM）工具中的群聊场景优化的工作流，提供及时准确的技术支持和自动化问答服务。
复制链接

扫一扫