InternVL 微调实践闯关任务

基础任务（完成此任务即完成闯关）

• follow 教学文档和视频使用QLoRA进行微调模型，复现微调效果，并能成功讲出梗图.
• 尝试使用LoRA，或调整xtuner的config，如LoRA rank，学习率。看模型Loss会如何变化，并记录调整后效果(选做，使用LoRA或调整config可以二选一)

环境配置

略

看看梗图

cp InternLM/datasets/CLoT_cn_2000/ex_images/007aPnLRgy1hb39z0im50j30ci0el0wm.jpg InternLM/

运行，怕不是个呆瓜

 开始训练

50%a100 用的batchsize=4

 感觉可以batchsize==5 但又突然又上压力了。显存到90了

先不管了 会宿舍洗洗先 

 大概3000step  300min ---5h

整了个batch size 8 跑崩了  算了还就是恢复到4老老实实跑吧嘿嘿

耗时

 50 A100 大概6-7h  建议虚拟机开8-12h

纠错

文档写模型的位置写错了

cd XTuner
# transfer weights
python3 xtuner/configs/internvl/v1_5/convert_to_official.py xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py /root/InternLM/work_dir/internvl_ft_run_8_filter/iter_3000.pth /root/InternLM/InternVL2-2B/

 命令行写的模型位置应该/root/InternLM/InternVL2-2B/

结果

再看猫图能不能爆梗 

vs之前的罗里吧嗦  确实像回事了 

 

 网上随便找个图测下

说实话看这张图，我都有点get不到是什么意思。看看ai怎们说的。

 

看看这张