InternVL 微调实践闯关任务

任务：

• follow 教学文档和视频使用QLoRA进行微调模型，复现微调效果，并能成功讲出梗图.
• 尝试使用LoRA，或调整xtuner的config，如LoRA rank，学习率。看模型Loss会如何变化，并记录调整后效果(选做，使用LoRA或调整config可以二选一)

1、准备环境
配置虚拟环境：conda create --name xtuner python=3.10

激活虚拟环境（ conda activate xtuner # 安装一些必要的库 conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

安装其他依赖 apt install libaio-dev

pip install transformers==4.39.3

pip install streamlit==1.36.0

pip install lmdeploy==0.5.3）
安装xtuner
# 创建一个目录，用来存放源代码
mkdir -p /root/InternLM/code

cd /root/InternLM/code

git clone -b v0.1.23  https://github.com/InternLM/XTuner
cd /root/InternLM/code/XTuner
pip install -e '.[deepspeed]'

准备InternVL模型
使用InternVL2-2B模型:

cd /root

mkdir -p model

cp -r /root/share/new_models/OpenGVLab/InternVL2-2B /root/model/

2、开始训练

这里使用之前搞好的configs进行训练。

cd XTuner
 
NPROC_PER_NODE=1 xtuner train /root/InternLM/code/XTuner/xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py

合并权重&&模型转换
用官方脚本进行权重合并

cd XTuner
# transfer weights
python3 xtuner/configs/internvl/v1_5/convert_to_official.py xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py /root/InternLM/work_dir/internvl_ft_run_8_filter/iter_3000.pth /root/InternLM/InternVL2-2B/

效果对比

使用LoRA，看模型Loss会如何变化，并记录调整后效果