多模态大模型视觉特征嵌入语言模型特征流程-(以MMLM的forward源码解读)

前言

多模态大模型forward源码解读，我也是基于llava模型作为示例来解读。本篇文章主要贡献已知的input_ids与labels如何嵌入图像特征，获得新的input_ids与labels及attention_mask内容，再将其输入大语言模型方法内容，这也就是视觉模型特征如何嵌入语言模型特征的方法。那么，经过此文章你能知道视觉模型与语言模型如何运作以及对应数据如何运行与变化内容。

一、多模态大模型的forward方法(llava)

1、位置

2、源码

这里就是多模态大模型llava进行forward的函数源码，如下：

def forward(
    self,
    input_i