第十一节 LLAVA模型lora训练(包含lora权重预加载与源码解读)
前面文章,基本已经给出LLaVA的推理相关内容,也给出相应训练等命令内容,以及相关权重等查看与比较内容。却没有与训练相关源码解读。为此,本篇文章介绍LLaVA模型是如何构建model,也是如何加载相应权重内容。我将会结合源码,详细梳理。我相信,看了此篇文章将不在为模型训练而困惑,也能帮助读者进一步理解源码,以此作为基准,方便后续对模型更改或使用其它架构大模型。当然,后面会涉及到很多与huggingface的trainer相关内容,我也会在后面篇章中给与介绍。
复制链接