学习笔记 | 浦语大模型趣味Demo

DrFlown

已于 2024-04-18 16:36:23 修改

阅读量745

点赞数 22

分类专栏：书生大模型学习笔记文章标签：学习笔记人工智能

于 2024-04-17 14:42:06 首次发布

本文链接：https://blog.csdn.net/DrFlown/article/details/137872550

版权

书生大模型学习笔记专栏收录该内容

7 篇文章 0 订阅

订阅专栏

一、部署 `InternLM2-Chat-1.8B` 模型进行智能对话

1、调用库介绍

（1）huggingface-hub：用于从 Hugging Face 模型和数据集的中心库中下载和共享模型、数据集和训练代码。

（2）transformers：提供了一个用于自然语言处理（NLP）任务的强大工具包，包括预训练模型（如BERT、GPT等）、模型微调和模型部署的功能。

（3）psutil：提供了一个跨平台的进程和系统工具库，用于获取有关系统资源利用率（CPU、内存、磁盘、网络等）的信息，并能够进行进程管理等操作。

（4）accelerate：用于加速深度学习训练过程的库，通过使用分布式训练和混合精度等技术来提高训练效率。

（5）streamlit：用于创建交互式 Web 应用程序的库，可以通过简单的 Python 脚本快速构建数据可视化工具和演示应用。

（6）matplotlib：提供了广泛的绘图功能，用于创建各种类型的静态、交互式和动画图表，是数据可视化领域的常用工具之一。

（7）modelscope：用于分析和可视化深度学习模型的库，可以帮助理解模型结构、参数和性能，以及进行模型优化和解释性分析。

（8）sentencepiece：提供了用于文本分词的工具，特别适用于处理多语言文本和非空格分隔符语言的分词任务。

2、模型下载及调用

运行download_mini.py下载模型，再运行cli_demo.py创建会话，调用 model.stream_chat 方法，该循环能够不断地接收用户输入，并将其作为对话的一部分输入给模型，以生成连贯的对话响应；如果用户输入的文本是 “exit”，则退出循环，结束程序。

运行结果：
在这里插入图片描述

二、实战：部署实战营优秀作品 `八戒-Chat-1.8B` 模型

1、模型介绍

八戒-Chat-1.8B 是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为 Roleplay-with-XiYou 子项目之一，八戒-Chat-1.8B 能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。

2、调用模型

git clone https://gitee.com/InternLM/Tutorial -b camp2

利用上述代码获取仓库中的Demo文件。

python /root/Tutorial/helloworld/bajie_download.py

利用上述代码下载模型。

streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006

利用上述代码运行 Streamlit 应用程序，与服务器地址为 127.0.0.1，端口号为 6006的主机建立连接。Streamlit 是一个用于创建数据应用程序的开源库，它可以让用户使用 Python 快速构建交互式的 Web 应用程序。

# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374

在Powershell中输入上述命令和密码建立连接，注意同意指纹验证，并且需要允许应用通过防火墙，否则连接会被拒绝。完成后Powershell的窗口实例如下：
在这里插入图片描述

打开浏览器访问 http://127.0.0.1:6006，键入“你好，请自我介绍”提示词，即可生成对应文本。IDE和API截图如下：

在这里插入图片描述

三、实战：使用 `Lagent` 运行 `InternLM2-Chat-7B` 模型

1、Lagent知识介绍

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下：

alt text

Lagent 的特性总结如下：

流式输出：提供 stream_chat 接口作流式输出，本地就能演示酷炫的流式 Demo。
接口统一，设计全面升级，提升拓展性，包括：
- Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；
- Action: 简单的继承和装饰，即可打造自己个人的工具集，不论 InternLM 还是 GPT 均可适配；
- Agent：与 Model 的输入接口保持一致，模型到智能体的蜕变只需一步，便捷各种 agent 的探索实现；
文档全面升级，API 文档全覆盖。

2、模型下载与部署

git clone https://gitee.com/internlm/lagent.git
# git clone https://github.com/internlm/lagent.git
cd /root/demo/lagent
git checkout 581d9fb8987a5d9b72bb9ebd37a95efd47d479ac
pip install -e . # 源码安装

利用以上命令安装Lagent代码库，如下图：
在这里插入图片描述

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

在 terminal 中输入以上指令，构造软链接快捷访问方式。随后修改internlm2_agent_web_demo_hf.py文件使模型调用InternLM2-Chat-7B模型。

在这里插入图片描述

streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006

输入以上命令运行 Streamlit 应用程序，并在Powershell中登录。打开 http://127.0.0.1:6006 后，选中数据分析，其他的选项不要选择，进行计算方面的 Demo 对话。对话截图如下：

在这里插入图片描述

四、实战：实践部署 `浦语·灵笔2` 模型

1、XComposer2 相关知识

浦语·灵笔2 是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色，总结起来其具有：

自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。
准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。
杰出的综合能力： 浦语·灵笔2-7B 基于 书生·浦语2-7B 模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V 和 Gemini Pro。

2、模型调用

激活demo的conda环境后运行下列代码安装补充库并下载 InternLM-XComposer 仓库 相关的代码资源。

pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5
cd /root/demo
git clone https://gitee.com/internlm/InternLM-XComposer.git
# git clone https://github.com/internlm/InternLM-XComposer.git
cd /root/demo/InternLM-XComposer
git checkout f31220eddca2cf6246ee2ddf8e375a40457ff626

对上述新安装的库作一介绍：

1）timm 是 “Torch Image Models” 的缩写，是一个用于PyTorch的模型库。它提供了大量预训练的计算机视觉模型，并简化了使用这些模型进行图像分类、目标检测等任务的流程。

2）sentencepiece 是一个无监督的文本分词工具，它可以将连续的文本序列分割成子词单元（subword units）。这在处理自然语言处理任务时非常有用，特别是对于那些词汇量大或包含很多稀有词汇的语言。

3）markdown2 是一个Python库，用于将Markdown格式的文本转换为HTML。Markdown是一种轻量级的标记语言，它允许人们使用易读易写的纯文本格式来编写文档，然后转换为格式丰富的HTML。

4）xlsxwriter 是一个用于创建Excel XLSX文件的Python库。它允许你以编程方式创建、修改和写入Excel文件，支持多种功能，如添加格式、图表等。

5）gradio 是一个快速构建机器学习接口的Python库。它允许你轻松地创建Web应用，以可视化的方式展示你的机器学习模型，使得用户能够与之交互。

6）modelscope 是一个开源的模型共享平台，它提供了大量的预训练模型以及使用这些模型进行推理的工具。它旨在让模型的使用变得更加简单，并提供了一致的API来加载和运行模型。
在这里插入图片描述

出现了版本不匹配的问题，更新package版本即可。

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b
cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py  \
--code_path /root/models/internlm-xcomposer2-7b \
--private \
--num_gpus 1 \
--port 6006

在 terminal 中输入指令，构造软链接快捷访问方式，启动 InternLM-XComposer，并在Powershell中登录，打开 http://127.0.0.1:6006，效果如图所示。
在这里插入图片描述

在这里插入图片描述

运行 gradio 程序完成后，在 terminal 栏目中点击关闭，然后再重新打开一个 terminal 以继续后面的实验。否则会出现显存耗尽的情况。

3、图片理解实战

激活demo的conda环境后，输入指令，启动 InternLM-XComposer2-vl。

cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_chat.py  \
--code_path /root/models/internlm-xcomposer2-vl-7b \
--private \
--num_gpus 1 \
--port 6006

打开 http://127.0.0.1:6006，上传图片，让模型分析一下图中内容，示例如下：
在这里插入图片描述

五、Hugging Face模型下载

使用 Hugging Face 官方提供的 huggingface-cli 命令行工具安装依赖：

pip install -U huggingface_hub

在这里插入图片描述

新建Python文件，代码如下：

import os
# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm2-chat-7b --local-dir your_path')

下载config.json文件：

import os 
from huggingface_hub import hf_hub_download  # Load model directly 

hf_hub_download(repo_id="internlm/internlm2-7b", filename="config.json")

在这里插入图片描述