1、demo列表:
- 部署
InternLM2-Chat-1.8B
模型进行智能对话 - 通过
InternLM2-Chat-7B
运行Lagent
智能体Demo
- 实践部署
浦语·灵笔2
模型
2、部署InternLM2大模型:
2.1、基础环境:
大模型训练需要GPU支持,获取方式还请各位各显神通,我这里以InternStudio为例:
首先,打开 Intern Studio
界面,点击 创建开发机 配置开发机系统。
填写 开发机名称
后,点击 选择镜像 使用 Cuda11.7-conda
镜像,然后在资源配置中,根据你的任务所需算力选择A100显卡的大小,然后立即创建开发机器。
进入开发机之后,按照pytorch环境和相关依赖包:
studio-conda -o internlm-base -t demo
# 与 studio-conda 等效的配置方案
# conda create -n demo python==3.10 -y #创建一个名为demo的python版本为3.10的虚拟环境
# conda activate demo # 激活demo环境
# conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia #安装pytorch和CUDA依赖
这里需要较长时间,安装过程中可以先去干点其他有意思的事情
2000 years later
当出现: ALL DONE!就代表基础环境的配置完成,可以进行下一步安装python依赖包了。
首先,确认进入demo环境:
conda activate base
下载以下依赖:
pip install huggingface-hub==0.17.3
pip install transformers==4.34
pip install psutil==5.9.8
pip install accelerate==0.24.1
pip install streamlit==1.32.2
pip install matplotlib==3.8.3
pip install modelscope==1.9.5
pip install sentencepiece==0.1.99
这些包是用于不同目的的 Python 库:
1. huggingface-hub==0.17.3:
- 这是 Hugging Face 提供的库,用于访问和分享自然语言处理 (NLP) 模型、数据集和其他资源。它提供了一个中心化的平台,让用户能够轻松地访问各种预训练的 NLP 模型和相关资源。
2. transformers==4.34:
- 这是 Hugging Face 提供的另一个库,用于自然语言处理任务的预训练模型。它提供了一个简单的 API,可以轻松地加载、使用和微调各种预训练的模型,如BERT、GPT等。
3. psutil==5.9.8:
- Psutil 是一个跨平台的 Python 库,用于检索有关运行中进程和系统利用情况的信息。它允许您轻松地检索诸如 CPU、内存、磁盘、网络等系统资源的使用情况。
4. accelerate==0.24.1:
- Accelerate 是 Hugging Face 提供的一个库,旨在加速深度学习模型的训练和推理。它利用了深度学习框架(如 PyTorch、TensorFlow)的内部加速功能,以提高模型的性能。
5. streamlit==1.32.2:
- Streamlit 是一个用于构建数据科学和机器学习应用的 Python 库。它提供了一个简单的界面,让用户能够轻松地创建交互式的 Web 应用,无需编写复杂的前端代码。
6. matplotlib==3.8.3:
- Matplotlib 是 Python 中用于绘制图表和可视化数据的流行库。它提供了各种绘图选项,可以用于创建各种类型的图表,包括折线图、散点图、直方图等。
7. modelscope==1.9.5:
- Modelscope 是一个用于分析深度学习模型的库。它提供了各种工具和技术,用于评估模型的性能、可解释性和其他方面,并帮助用户更好地理解和优化其模型。
8. sentencepiece==0.1.99:
- Sentencepiece 是一个用于自然语言处理的库,主要用于文本分词和标记化。它支持多种语言,并提供了一种称为 BPE(字节对编码)的分词算法,可用于训练自定义分词模型。在 NLP 中,它通常与模型训练和推理一起使用,用于处理文本数据。
2.2下载模型:
mkdir -p /root/demo #创建一个在root目录下的demo文件夹
touch /root/demo/cli_demo.py #在demo文件夹下创建一个cli_demo.py的py文件
touch /root/demo/download_mini.py #同样用做创建download_mini.py文件
cd /root/demo #进入root目录下的demo目录
在download_mini.py文件下加入这段代码(这样下载的是1.8b大小的模型,可以根据自己的需求修改)
import os
from modelscope.hub.snapshot_download import snapshot_download
# 创建保存模型目录
os.system("mkdir /root/models")
# save_dir是模型保存到本地的目录
save_dir="/root/models"
snapshot_download("Shanghai_AI_Laboratory/internlm2-chat-1_8b",
cache_dir=save_dir,
revision='v1.1.0')
在Huggingface上下载:
将代码替换为:
pip install -U huggingface_hub #使用 Hugging Face 官方提供的 huggingface-cli 命令行工具
import os
# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm2-chat-7b --local-dir your_path')
# 下载模型中的部分文件hf_hub_download(repo_id="internlm/internlm27b",filename="config.json")
# resume-download:断点续下
# local-dir:本地存储路径。
下载部分文件示例:
执行命令,下载模型参数文件:
python /root/demo/download_mini.py
打开cli_demo.py,把以下代码写入:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name_or_path = "/root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='cuda:0')
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='cuda:0')
model = model.eval()
system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""
messages = [(system_prompt, '')]
print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")
while True:
input_text = input("\nUser >>> ")
input_text = input_text.replace(' ', '')
if input_text == "exit":
break
length = 0
for response, _ in model.stream_chat(tokenizer, input_text, messages):
if response is not None:
print(response[length:], flush=True, end="")
length = len(response)
2.3运行demo:
python /root/demo/cli_demo.py
当出现User>>>时,就可以和大模型对话了!
对话完成输入:exit ,即可退出对话。
大家也可以参考第一期优秀的实战营项目,具体模型链接如下:
- 八戒-Chat-1.8B:魔搭社区
- Chat-嬛嬛-1.8B:OpenXLab浦源 - 模型中心
- Mini-Horo-巧耳:OpenXLab浦源 - 模型中心
调用方法和上面大同小异,这里就不进行过多论述了。
3、使用 Lagent
运行 InternLM2-Chat-7B
模型:
配置环境过程和上面一样,这里不多做废话。
3.1、Lagent介绍:
Lagent 是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:
Lagent 的特性总结如下:
- 流式输出:提供 stream_chat 接口作流式输出,本地就能演示酷炫的流式 Demo。
- 接口统一,设计全面升级,提升拓展性,包括:
- Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽,模型切换可以游刃有余;
- Action: 简单的继承和装饰,即可打造自己个人的工具集,不论 InternLM 还是 GPT 均可适配;
- Agent:与 Model 的输入接口保持一致,模型到智能体的蜕变只需一步,便捷各种 agent 的探索实现;
- 文档全面升级,API 文档全覆盖。
3.2、代码准备:
进入demo环境下的demo目录:
conda activate demo
cd /root/demo
拉取Lagent代码:
git clone https://gitee.com/internlm/lagent.git #网络不好走gitee
# git clone https://github.com/internlm/lagent.git #网络好走GitHub
cd /root/demo/lagent
git checkout 581d9fb8987a5d9b72bb9ebd37a95efd47d479ac # 拉取指定的Lagent版本
pip install -e . # 源码安装
获取InternLM2模型,可以从多种渠道下载,我这里通过已有模型文件的软链接完成模型的拉取:
cd /root/demo/lagent #进入lagent目录下
# 使用ln命令,-s创建的是软链接,把/root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b目录下的文件,链接到/root/models/internlm2-chat-7b目录下
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b
打开 lagent
路径下 examples/internlm2_agent_web_demo_hf.py
文件,并修改base模型位置 (71行左右) 代码:
# 其他代码...
value='/root/models/internlm2-chat-7b'
# 其他代码...
3.3、代码运行:
1、建议本机和远程主机的ssh链接:
在电脑中打开passshell,输入以下命令:
# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374
当终端呈现以下情况,代表链接成功:
完成链接之后,在Studio中执行以下代码:
streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006
streamlit run
命令用于运行 Streamlit 应用程序。/root/demo/lagent/examples/internlm2_agent_web_demo_hf.py
是要运行的 Python 脚本的路径。--server.address 127.0.0.1
选项指定应用程序将在本地计算机上运行。--server.port 6006
选项指定应用程序将在端口 6006 上运行。
温馨提示:记得打开数据分析功能,不然大模型的数学能力,实在是难以表达。
4、实践部署 浦语·灵笔2
模型:
4.1、浦语·灵笔的强大:
废话不说直接上图:
4.2、基础环境配置:
和上面chat demo部署相比,需要多安装下面几个依赖包:
pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5
4.3、代码准备:
1、从第三方托管平台拉取执行代码:
cd /root/demo
git clone https://gitee.com/internlm/InternLM-XComposer.git
# git clone https://github.com/internlm/InternLM-XComposer.git
cd /root/demo/InternLM-XComposer
git checkout f31220eddca2cf6246ee2ddf8e375a40457ff626 #检查版本
2、拉取模型:
# 拉取Xcomposer2模型
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b
# V1版本的模型可以理解图片
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b
4.4、运行:
同样需要和Lagent demo一致,先建立远程ssh链接,之后运行以下代码:
Xcomposer:
python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py \
--code_path /root/models/internlm-xcomposer2-7b \
--private \
--num_gpus 1 \
--port 6006
效果如下:
V1版:
python /root/demo/InternLM-XComposer/examples/gradio_demo_chat.py \
--code_path /root/models/internlm-xcomposer2-vl-7b \
--private \
--num_gpus 1 \
--port 6006
效果如下: