基于开源大型lmm模型生成标签对InternVL2-1B等轻量lmm模型进行微调

基于开源大型lmm模型生成标签对InternVL2-1B等轻量lmm模型进行微调，提升InternVL2-1B等轻量lmm模型的能力。本实验在window下，基于3060 12g显卡进行实验。基于qwen2-vl 7b模型生成标签（电脑显存大的话可以考虑qwen2-vl 72b模型），然后对InternVL2-1B进行Lora微调。以voc2012_val里面的3000多个图片为训练数据，耗时1小时完成。最后测试微调前后的模型，可以发现微调后的InternVL2-1B模型在特定任务上（目标与数量识别）的能力得到显著增强。

1、依赖库安装

1.1 安装基本依赖

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple optimum
pip install -U transformers
pip install -U qwen_vl_utils
pip install -U modelscope
pip install git+https://github.com/AutoGPTQ/AutoGPTQ
pip install flash-attn

window下安装flash-attn 参考https://hpg123.blog.csdn.net/artic