InternVL 多模态模型部署微调实践

准备InternVL模型
我们使用InternVL2-2B模型。该模型已在share文件夹下挂载好，现在让我们把移动出来。

cd /root
mkdir -p model

cp 模型

cp -r /root/share/new_models/OpenGVLab/InternVL2-2B /root/model/
准备环境
这里我们来手动配置下xtuner。

配置虚拟环境
conda create --name xtuner python=3.10 -y

激活虚拟环境（注意：后续的所有操作都需要在这个虚拟环境中进行）

conda activate xtuner

安装一些必要的库

conda install pytorch2.1.2 torchvision0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

安装其他依赖

apt install libaio-dev
pip install transformers4.39.3
pip install streamlit1.36.0

训练

修改配置文件中的数据位置进行训练

融合模型

测试成功小红帽与大灰狼梗图

对这张图进行测试

from lmdeploy import pipeline
from lmdeploy.vl import load_image

pipe = pipeline('/root/InternLM/InternVL2-2B')

image = load_image('/root/InternLM/datasets/CLoT_cn_2000/ex_images/4998661.jpg')
response = pipe(('请你根据这张图片，讲一个脑洞大开的梗', image))
print(response.text)

测试成功

修改学习率为lr = 2e-2

发现loss一开始就很高,之前是5左右开始的时候