UniCL_计算机视觉_2022

文章链接：https://openaccess.thecvf.com/content/CVPR2022/papers/Yang_Unified_Contrastive_Learning_in_Image-Text-Label_Space_CVPR_2022_paper.pdf
代码链接:https://github.com/microsoft/UniCL

背景

在zore-shot、transfer learning和liner probing等多个问题设定下，将图片-文本结合起来构建对比学习的CLIP表现出杰出的性能，受到它的启发，UniCL不仅将计算机视觉和自然语言(图片-文本)两个方面结合起来，还加入了监督学习的内容，即图片-标签。

目的

将图片、文本、标签联合成数据$S$，从中为图片$x$学习到语义丰富的、独特性的视觉表示。

问题的定义

三元组数据 S = { ( x n , t n , y n ) } n = 1 N S=\{(x_n,t_n,y_n)\}^N_{n=1} S={(xn​,tn​,yn​)}n=1N​，$x_n$表示图片，$t_n$表示语言描述内容，$y_n$表示图片的标签。

可以像上面的三元组数据一样表示的原因在于(1)来自网页的图片-文本对 { ( x n , t n ) } n = 1 N \{(x_n,t_n)\}^N_{n=1} {(xn​,tn​)}n=1N​具有一对一的映射，每一个图片-文本对都有一个独一无二的标签，所以可以为这一个图片-文本对找到一个$y_n$进而 S = { ( x n , t n , y n ≡ n ) } n = 1 N S=\{(x_n,t_n,y_n\equiv n)\}^N_{n=1} S={(xn​,tn​,yn​≡n)}n=1N​；(2)即使图片具有简单的分类标签，但这些标签通常也是由具体的任务中相关的概念引导的，所以对于图片-标签对 S = { ( x n , t n ≡ ( C [ y n ] ) , y n ) } n = 1 N S=\{(x_n,t_n\equiv (C[y_n]),y_n)\}^N_{n=1} S={(xn​,tn​≡(C[yn​]),yn​)}n=1N​，$C$就是一个$y_n$为索引的概念名集合。基于上述的定义，可以将图片-标签对表示为有标签的图片-文本对。

算法内容

图片$x$通过图片编码模型$f_{\theta }$来表示为一个特征向量$\tilde{\mathbf{v}}\in {\mathbb{R}}^{d\times 1}$,$\tilde{\mathbf{v}}=f_{\theta }(x)$，对于每一个语言描述$t\in \mathcal{T}$，使用语言编码器$f_{\varphi }(\mathbf{t})$编码文本的特征向量$\tilde{\mathbf{u}}\in {\mathbb{R}}^{d\times 1}$，$\tilde{\mathbf{u}}=f_{\varphi }(\mathbf{t})$，对于在一个batch$\mathcal{B}$中第$i$个图片和第$j$个文本，将它们归一化到一个超球面，考虑到图像-文本的双向学习目标，所以$u_i=\frac{f_{\theta }(x_i)}{||f_{\theta }(x_i)||},v_i=\frac{f_{\varphi }(t_i)}{||f_{\varphi }(t_i)||}$，（$u_i$表示图片，$v_i$表示文本） m i n { θ , ϕ } L B i C = L i 2 t + L t 2 i {min}_{\{\theta,\phi\}} \quad \mathcal{L}_{BiC}=\mathcal{L}_{i2t}+\mathcal{L}_{t2i} min{θ,ϕ}​LBiC​=Li2t​+Lt2i​

• 给定一个文本，在对应匹配的图片上的对比损失：
  
  
  这里表示行的计算，把与文本匹配的图片找出来，然后这些图片和文本计算损失。

• 给定一个图片，在对应匹配的文本上的对比损失
  
  
  这里表示；列的计算，把与图片匹配的文本找出来，然后这些文本和图片计算损失。

与其他常见的损失的比较

实验

• 对比实验
  
• 消融实验、batch size取值分析
  
• 结果可视化
  加入图片文本的benefit
  
  加入图片标签的benefit