书生·浦语大模型实战营第三课作业

最新推荐文章于 2024-10-08 11:01:42 发布

挺婷

最新推荐文章于 2024-10-08 11:01:42 发布

阅读量1.3k

点赞数 33

文章标签：服务器 linux 运维

本文链接：https://blog.csdn.net/TINGTING_93/article/details/137718904

版权

1. 基础作业

1. 在茴香豆web版中创建自己领域的知识问答助手

2. 在InternLM Studio上部署茴香豆技术助手

1）配置基础环境

2）使用茴香豆搭建RAG助手

1. 修改配置文件

2. 创建语料库和“接受，拒答”的向量数据库

1. 基础作业

1. 在茴香豆web版中创建自己领域的知识问答助手

登录https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web

设置自己知识库的账号和密码

我提交了一个2023音视频行业的一个调研报告https://pdf.dfcfw.com/pdf/H3_AP202305101586455471_1.pdf

上传以后设置正例反例:

第一轮对话：

用的反例

第二轮对话：

第三轮：

第四轮：

第五轮：

感觉我用的文档没怎么用上。。。因为是个很宽泛的白皮书类文档，茴香豆自己也会答。这个需要再看看。不过流程是没啥问题了。

2. 在InternLM Studio上部署茴香豆技术助手

1）配置基础环境

其中包括创建开发机，从官方复制InternKM的基础环境，运行conda命令来机会InternLM2_Huixiangdou python虚拟环境下载基础文件，下载安装茴香豆。

2）使用茴香豆搭建RAG助手

1. 修改配置文件

/root/huixiangdou/config.ini，将模型地址改成自己设置的地址

sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini
sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' /root/huixiangdou/config.ini
sed -i '29s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' /root/huixiangdou/config.ini

这三个模型分别是

1. 修改用于向量数据库和词嵌入的模型

2. 用于检索的重排序模型

3. 本次使用的大模型

2. 创建语料库和“接受，拒答”的向量数据库

知识库（也不一定是文档）是新增知识数据检索的来源之一，不需要额外训练就能回答新的问题是RAG重要优势之一。在这里我们使用的是InternLM的huixiangdou语料。

提取知识库特征，创建向量数据库。数据库向量化的过程应用到了Langchain的相关模块（普通量化工作是我研究生阶段比较熟悉的领域，可以深入看看）

除了语料库的向量数据库，茴香豆还需要建立接受和拒答两个向量数据库，用于在检索过程中更精确的判断提问的相关性，分别是

huixiangdou/resource/good_questions.json
huixiangdou/resource/bad_questions.json

以下是两个示例

cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.json

echo '[
    "mmpose中怎么调用mmyolo接口",
    "mmpose实现姿态估计后怎么实现行为识别",
    "mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth   现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作",
    "在mmdetection中，如何同时加载两个数据集，两个dataloader",
    "如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？",
    "1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，",
    "mmpose 测试 map 一直是 0 怎么办？",
    "如何使用mmpose检测人体关键点？",
    "我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注",
    "如何生成openmmpose的c++推理脚本",
    "mmpose",
    "mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件",
    "mmpose可以实现行为识别吗，如果要实现的话应该怎么做",
    "我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了",
    "mac m1从源码安装的mmpose是x86_64的",
    "想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？",
    "huixiangdou 是什么？",
    "使用科研仪器需要注意什么？",
    "huixiangdou 是什么？",
    "茴香豆 是什么？",
    "茴香豆 能部署到微信吗？",
    "茴香豆 怎么应用到飞书",
    "茴香豆 能部署到微信群吗？",
    "茴香豆 怎么应用到飞书群",
    "huixiangdou 能部署到微信吗？",
    "huixiangdou 怎么应用到飞书",
    "huixiangdou 能部署到微信群吗？",
    "huixiangdou 怎么应用到飞书群",
    "huixiangdou",
    "茴香豆",
    "茴香豆 有哪些应用场景",
    "huixiangdou 有什么用",
    "huixiangdou 的优势有哪些？",
    "茴香豆 已经应用的场景",
    "huixiangdou 已经应用的场景",
    "huixiangdou 怎么安装",
    "茴香豆 怎么安装",
    "茴香豆 最新版本是什么",
    "茴香豆 支持哪些大模型",
    "茴香豆 支持哪些通讯软件",
    "config.ini 文件怎么配置",
    "remote_llm_model 可以填哪些模型?"
]' > /root/huixiangdou/resource/good_questions.json

cd /root/huixiangdou

echo '[
"huixiangdou 是什么？",
"你好，介绍下自己"
]' > ./test_queries.json

创建的指令：

# 创建向量数据库存储目录
cd /root/huixiangdou && mkdir workdir 

# 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json

使用以下，测试一下效果

# 填入问题
sed -i '74s/.*/    queries = ["茴香豆怎么部署到微信群"]/' /root/huixiangdou/huixiangdou/main.py

# 运行茴香豆
cd /root/huixiangdou/
python3 -m huixiangdou.main --standalone

基本流程

1. 首先加载各种模型和配置，例如自然语言处理的模型SentenceTransformer 和 BCEmbedding 的 RerankerModel

2. 启动一个HTTP服务，等待客户端的请求

3. 收到问题：茴香豆怎么部署到微信群

4. 判断句子是否是个有主题的疑问句，判断标准：有主谓宾并且是疑问句得10分，否则扣分。因此此项得分8.0（句子中有主谓宾还是没有疑问词吗）

5. 提炼出主题：茴香豆怎么部署到微信群

6. 在语料库里搜寻相关语料，找到target的README_zh.md

7. 根据问题和材料的关联度进行打分，得分8.0，该问题与材料有较高的关联度

8. 使用InternLM2-chat-7b模型生成答案，将问题答案和资料返回给客户端