准备InternVL模型
我们使用InternVL2-2B模型。该模型已在share文件夹下挂载好,现在让我们把移动出来。
cd /root
mkdir -p model
cp 模型
cp -r /root/share/new_models/OpenGVLab/InternVL2-2B /root/model/
准备环境
这里我们来手动配置下xtuner。
配置虚拟环境
conda create --name xtuner python=3.10 -y
激活虚拟环境(注意:后续的所有操作都需要在这个虚拟环境中进行)
conda activate xtuner
安装一些必要的库
conda install pytorch2.1.2 torchvision0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
安装其他依赖
apt install libaio-dev
pip install transformers4.39.3
pip install streamlit1.36.0
训练
修改配置文件中的数据位置进行训练
融合模型
测试成功小红帽与大灰狼梗图
对这张图进行测试
from lmdeploy import pipeline
from lmdeploy.vl import load_image
pipe = pipeline('/root/InternLM/InternVL2-2B')
image = load_image('/root/InternLM/datasets/CLoT_cn_2000/ex_images/4998661.jpg')
response = pipe(('请你根据这张图片,讲一个脑洞大开的梗', image))
print(response.text)
测试成功
修改学习率为lr = 2e-2
发现loss一开始就很高,之前是5左右开始的时候