L2-InternVL 多模态模型部署微调实践

安装环境

conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
# 安装其他依赖
apt install libaio-dev
pip install transformers==4.39.3
pip install streamlit==1.36.0

我就直接复用之前的lmdeploy环境了

复制数据集

测试模型

推理后我们发现直接使用2b模型不能很好的讲出梗，现在我们要对这个2b模型进行微调。

调整配置文件

由于我是整卡a100

这里调高了lora rank

开始训练

NPROC_PER_NODE=1 xtuner train /root/train-config.py --work-dir /train-work_dir/internvl_ft_run_8_filter  --deepspeed deepspeed_zero1

接下来要做的就是 默默等待

训练完成

开始合并模型进行测试

效果比之前好太多了