L2-InternVL 多模态模型部署微调实践

准备InternVL模型

使用InternVL2-2B模型

准备环境

单卡A100

conda create --name xtuner python=3.10 -y

# 激活虚拟环境（注意：后续的所有操作都需要在这个虚拟环境中进行）
conda activate xtuner

# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
# 安装其他依赖
apt install libaio-dev
pip install transformers==4.39.3
pip install streamlit==1.36.0

pip install lmdeploy==0.5.3

安装xtuner

https://github.com/InternLM/XTuner

使用pipeline进行推理

使用以下测试图片：

推理出内容如下：

InternVL 微调

经过500次得到微调成果

再进行合并权重&&模型转换

合并之后的文件目录如下

修改代码替换模型路径之后再测试

• follow 教学文档和视频使用QLoRA进行微调模型，复现微调效果，并能成功讲出梗图.

上面是合并前、下面是合并后成功讲出梗图：