书生·浦语大模型 进阶岛 InternVL 多模态模型部署

基础任务

使用QLoRA进行微调模型，复现微调效果，并能成功讲出梗图。
尝试使用LoRA，或调整xtuner的config，如LoRA rank，学习率。看模型Loss会如何变化，并记录调整后效果。

1.使用QLoRA进行微调模型

2.微调后结果合并

cd XTuner
python3 xtuner/configs/internvl/v1_5/convert_to_official.py xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py /root/InternLM/work_dir/internvl_ft_run_8_filter/iter_3000.pth /root/InternLM/InternVL2-2B/

3.效果展示

from lmdeploy import pipeline
from lmdeploy.vl import load_image

pipe = pipeline('/root/InternLM/InternVL2-2B/')

image = load_image('/root/InternLM/004atEXYgy1gqgquvqlmpj60wp0wqwja02.jpg')
response = pipe(('请你根据这张图片，讲一个脑洞大开的梗', image))
print(response.text)

4.使用LoRA,看模型Loss会如何变化。

LoRA模型部分代码。

QLoRA模型部分代码。

LoRA的loss

QLoRA的loss

对比LoRA微调后模型输出结果：

明显QLoRA后结果更能理解梗图。