《LAVT: Language-Aware Vision Transformer forReferring Image Segmentation》关于语言指导的图像分割的论文笔记

介绍

Referring image segmentation（我翻译成语言指导的图像分割）其目的就是从图像中分割出自然语言表达式所指称的对象。该任务背后的关键挑战之一是利用指称表达式突出图像中的相关位置。在这篇论文中，作者通过在视觉Transformer编码器网络的中间层中早期融合语言和视觉特征，可以实现更好的跨模态对齐。

与先前方法的对比

先前的最先进方法是将图像和语言特征分开编码，然后利用Transformer解码器进行跨模态特征融合，比如将解码器的Q换成语言特征编码，从而实现多模态融合。

作者提出的方法在视觉Transformer网络的中间层将语言信息直接集成到视觉特征中，其中有益的视觉-语言线索被联合利用。对比图如下：

模型框架

模型整体结构如上图。

语言感知的视觉编码（Language-aware visual encoding）

将语言表达式嵌入高维词向量L=Ct*T(Ct是通道数，T是单词数)。编码层有四个Stage,每个Stage有三个步骤：一组Transformer编码层，一个多模态融合模块θi，一个可学习的门控单元ψi。每个Stage都生成或改进语言感知的视觉特征。首先，Transformer将前一阶段的特征作为输入，输出丰富的视觉特征Vi=Ci*Hi*Wi。然后，多模态融合模块将Vi和语言特征L结合，得到多模态特征Fi=Ci*Hi*Wi。最后，Fi中的每个元素被可学习的门控单元加权，然后将元素添加到Vi中产生一组嵌入语言信息的增强视觉特征Ei=Ci*Hi*Wi。

PWAM(像素字注意力模块)

输入的视觉特征Vi=Ci*Hi*Wi,输入的语言特征L=Ct*T;Vi与wiq权重矩阵相乘得到Query=Ci*Hi*Wi，L分别与wik和wiv权重矩阵相乘得到Key=Ci*T和Value=Ci*T。通过类似注意力机制的计算方法得到与Vi具有相同形状的语言特征Gi=Ci*Hi*Wi。通过以下计算进行融合：Vim=wim(Vi),Fi=wio(Vim元素级乘法Gi),权重相乘后还有ReLU函数。

语言路径(控制PWAM的输出的特征与Transdormer每层输出的特征合并的强弱)

对于输入的Fi通过一个两层感知机(1*1conv,ReLU,1*1conv,Tanh)映射出一个矩阵Si，Si与输入的Fi元素级相乘得到的输入再与Transformer中的图像特征融合：Ei=Si元素级*Fi+Vi。

解码过程

初始Y4=F4;Yi=投影函数([对Yi+1上采样再与Fi沿着通道维度拼接])；其中投影函数是通过批处理归一化和ReLU非线性连接的两个3*3卷积实现的。