多模态text-image模型之ITC loss

最近在看多模态内容，记录一下文图模型中常用的损失函数。最先提出ITC loss的是论文ALBEF，下面是文章对该Loss的定义

假设有输入图片 I 经过image encoder之后变成{$v_{cls},v_1,\dots ,v_N$}，输入文本 T 经过 text encoder 后变成{$w_{cls},w_1,\dots ,w_N$}

ITC Loss 的全称是 Image-Text Contrastive Loss ，为了在融合之前学习更好的unimodal表示，它学习$s=g_v(v_{cls}{)}^T{g}_w(w_{cls})$，这里的 $g_v$和$g_w$函数是给cls token embedding降维的线性层。另一方面，文图对会进入一个momentum unimodal encoders（这个结构的作用是通过结合过去更新中积累的知识，帮助稳定和提高学习表示的质量），变成$g{\prime }_v(v{\prime }_{cls})和g{\prime }_w(w{\prime }_{cls})$

定义：
$$\begin{gathered} s(I,T)=g_v(v_{cls}{)}^{T}g{\prime }_w(w{\prime }_{cls}) \\ s(T,I)=g_w(w_{cls}{)}^{T}g{\prime }_v(v{\prime }_{cls}) \end{gathered}$$

对于每个图像和文本，我们计算softmax归一化的图像到文本和文本到图像相似度为：

其中的$\tau$是可学习的参数。令onehot相似度的真实值是$y^{i2t}(I)$ 和$y^{t2i}(T)$，真值中负样本对的概率为0，正样本对的概率为1。
ITC loss为$p$和$y$的交叉熵：

ALBEF代码中ITC loss对应的主要代码：

        sim_i2t = image_feat @ text_feat_all / self.temp 
        sim_t2i = text_feat @ image_feat_all / self.temp 
        # image_feat和text_feat分别是图片和文本特征，text_feat_all和image_feat_all是从momentum encoder中取出来的文本、图像特征
        # self.temp = nn.Parameter(torch.ones([]) * config['temp']) ，引入一个可学习的参数，可以对计算的结果进行缩放，从而调整模型
                             
        loss_i2t = -torch.sum(F.log_softmax(sim_i2t, dim=1)*sim_i2t_targets,dim=1).mean()
        # F.log_softmax(sim_i2t, dim=1)对sim_i2t的每一行进行log_softmax计算
        # sim_i2t和sim_i2t_targets的形状一样，sim_i2t_targets是真实值
        # F.log_softmax(sim_i2t, dim=1)*sim_i2t_targets是矩阵按元素相乘
        loss_t2i = -torch.sum(F.log_softmax(sim_t2i, dim=1)*sim_t2i_targets,dim=1).mean() 
        # loss_t2i中的操作同上

        loss_ita = (loss_i2t+loss_t2i)/2 #求平均得到ITC Loss

之后在更新同一篇文章中的Image-Text Matching (ITM) loss。