《Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation》阅读笔记

Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation

题目：挖掘用于弱监督语义分割模型的跨图像语义。

来源：CVPR2020

1 Motivation

1. 基于深度学习的语义分割模型取得了很好的表现，但是依赖于大量精确标注数据的特性导致了高昂的训练成本。

2. 弱监督语义分割模型对标签数据的依赖性较低，但是容易忽略图像的总体信息而过度关注局部。

3. 目前针对WSSS模型的改进方法通常只使用单一的图像信息挖掘对象模式，而忽略了图像间的语义相似性。

2 Contribution

1. 构建了一个共注意力分类器将跨图像语义相关有应用于完全目标模式学习与目标位置推断。

2. 共注意力分类器分别通过共注意力与对比注意力从跨图像语义的相似性和差异性中挖掘出完整的监督信息。

3. 该方法可以通用于多种不同监督信息的WSSS模型。

3 Approach

本文的实验方法与传统的弱监督语义分割模型相同，先用带有图像级标签的数据训练一个分类网络，获得相应的目标局部映射，用这个映射作为伪ground truth，用来监督语义分割网络的训练。

对于注意力的学习，主要分成了两个模块，其一是共注意力学习，用来驱动分类器从图像的共同关注要素中学习到公共语义，其二是一个相对独立的注意力学习，用来限制分类器关注其他非共同关注要素，以学习图像对各自内部的非共享语义信息。

3.1 共注意力分类网络

co-attention classifier由三个模块组成，分别是传统的分类器网络，以及一个共注意力网络和一个对比共注意力网络，整个网络框架如下图所示。三个模块为串联排列，首先是利用传统分类器进行分类训练，之后用提取到的特征训练了一个共注意力模块，用提取到的共注意力特征训练分类器对共享语义信息的分类敏感性，在共注意特征的基础上，继续训练了一个对比共注意模块，以提升分类器对图像对中的互斥语义信息的敏感性。

3.1.1 分类器模块训练

本模型的重点在于跨图像训练，因此网络结构是一种类似孪生网络的架构，其输入以成对的形式作为输入并进行训练。

首先，从图像训练集 I = { ( I n , l n ) } n \boldsymbol{I}=\{(\boldsymbol{I}_n,\boldsymbol{l}_n)\}_n I={(In​,ln​)}n​中采样图片对${\mathbf{I}}_m$与${\mathbf{I}}_n$，以及其各自的标签${\mathbf{l}}_m$与${\mathbf{l}}_n$， l n ∈ { 0 , 1 } K \boldsymbol{l}_n\in{\{0,1\}^K} ln​∈{0,1}K是一个$K$维数据，代表图像中所具有的类别属性。之后将图像数据输入卷积神经网络中提取出各自的特征图${\mathbf{F}}_m$与${\mathbf{F}}_n$，${\mathbf{F}}_n\in {\mathbb{R}}^{C\times H\times W}$。

在提取到feature map以后，将其送入一个全卷积层$\phi (\cdot )$得到类感知激活映射${\mathbf{S}}_m$与${\mathbf{S}}_n$，${\mathbf{S}}_n\in {\mathbb{R}}^{K\times H\times W}$。之后再经全局池化平均(GAP)处理，得到分类器计算出的${\mathbf{I}}_m$与${\mathbf{I}}_n$的类别得分$s_n，s_m\in {\mathbb{R}}^K$，计算图像对各自的类别得分与其真实标签${\mathbf{l}}_m$与${\mathbf{l}}_n$之间的交叉熵，作为分类器的损失函数：
$$\begin{array}{rl}{\mathcal{L}}_{\text{basic }}^{\mathrm{mn}}\left(\left({\mathbf{I}}_m,{\mathbf{I}}_n\right),\left({\mathbf{l}}_m,l_n\right)\right)& ={\mathcal{L}}_{\mathrm{C}\mathrm{E}}\left({\mathbf{s}}_m,l_m\right)+{\mathcal{L}}_{\mathrm{C}\mathrm{E}}\left({\mathbf{s}}_n,l_n\right)\\ & ={\mathcal{L}}_{\mathrm{C}\mathrm{E}}\left(\mathrm{GAP}\left(\phi \left({\mathbf{F}}_m\right)\right),{\mathbf{l}}_m\right)+{\mathcal{L}}_{\mathrm{C}\mathrm{E}}\left(\mathrm{GAP}\left(\phi \left({\mathbf{F}}_n\right)\right),{\mathbf{l}}_n\right)\end{array}$$

3.1.2 跨图像语义挖掘的co-attention

这部分阐述了共注意力机制的理论知识，首先，在分类器的基础上，根据学到的图像feature map，${\mathbf{F}}_m$与${\mathbf{F}}_n$，计算二者之间的亲和力矩阵以衡量相关性：
$$\mathbf{P}={\mathbf{F}}_m^{\top }{\mathbf{W}}_{\mathbf{P}}{\mathbf{F}}_n\in {\mathbb{R}}^{HW\times HW}$$
这里的${\mathbf{F}}_m$与${\mathbf{F}}_n$均被平铺成$C\times HW$的尺寸，上式中的${\mathbf{W}}_{\mathbf{P}}$是一个$C\times C$的可学习矩阵，根据这个公式，亲和力矩阵$\mathbf{P}$中的每一个元素$p_{ij}$均代表了${\mathbf{F}}_m$中第$i$个元素与${\mathbf{F}}_n$中第$j$个元素之间的相似性。

之后，分别按列和行对$\mathbf{P}$进行softmax操作，即可得到中${\mathbf{F}}_m^{m\cap n}$与${\mathbf{F}}_n^{m\cap n}$每个元素的归一化注意力图${\mathbf{A}}_m$与${\mathbf{F}}_n$对${\mathbf{F}}_m$中每个元素的归一化注意力图${\mathbf{A}}_n$。
$${\mathbf{A}}_m=\mathrm{softmax}(\mathbf{P})\in [0,1{]}^{HW\times HW},{\mathbf{A}}_n=\mathrm{softmax}\left({\mathbf{P}}^{\top }\right)\in [0,1{]}^{HW\times HW}$$
接着便可以计算${\mathbf{F}}_n({\mathbf{F}}_m)$对${\mathbf{F}}_m({\mathbf{F}}_n)$的注意力总结：
$${\mathbf{F}}_m^{m\cap n}={\mathbf{F}}_n{\mathbf{A}}_n\in {\mathbb{R}}^{C\times H\times W},{\mathbf{F}}_n^{m\cap n}={\mathbf{F}}_m{\mathbf{A}}_m\in {\mathbb{R}}^{C\times H\times W}$$
将上式计算结果调整为$C\times W\times H$的尺寸，便得到了共注意力特征${\mathbf{F}}_m^{m\cap n}$与${\mathbf{F}}_n^{m\cap n}$。二者保留了来自对方的共同语义，并在自身的原始特征图中定位了共享语义对象。由此可以认为，在共注意图中，只对具有相同语义特征的区域有较为明显的激活反应，而对非共同特征则有较低的权值，以此帮助分类器准确定位出共享语义。

将提取到的共注意力特征${\mathbf{F}}_m^{m\cap n}$与${\mathbf{F}}_n^{m\cap n}$代替原始feature map ${\mathbf{F}}_m$与${\mathbf{F}}_n$，带入基础分类损失中，得到共注意力分类损失的计算公式：
$$\begin{array}{rl}{\mathcal{L}}_{\text{co-att }}^{mn}\left(\left({\mathbf{I}}_m,{\mathbf{I}}_n\right),\left({\mathbf{l}}_m,l_n\right)\right)=& {\mathcal{L}}_{\mathrm{C}\mathrm{E}}\left({\mathbf{s}}_m^{m\cap n},{\mathbf{l}}_m\cap l_n\right)+{\mathcal{L}}_{\mathrm{C}\mathrm{E}}\left({\mathbf{s}}_n^{m\cap n},l_m\cap l_n\right)\\ =& {\mathcal{L}}_{\mathrm{C}\mathrm{E}}\left(\mathrm{GAP}\left(\phi \left({\mathbf{F}}_m^{m\cap n}\right)\right),{\mathbf{l}}_m\cap {\mathbf{l}}_n\right)+\\ & {\mathcal{L}}_{\mathrm{C}\mathrm{E}}\left(\mathrm{GAP}\left(\phi \left({\mathbf{F}}_n^{m\cap n}\right)\right),{\mathbf{l}}_m\cap {\mathbf{l}}_n\right)\end{array}$$
上式旨在提升分类器对以共注意特征为输入的共享语义标签的分类结果的准确性，以使分类器更加集中于图片对的共享语义信息。

3.1.3 用于跨图像互斥语义挖掘的contrastive co-attention

共注意的作用在于使分类器对图像对之间的共享语义信息更敏感，而对比共注意旨在与共注意形成互补，目的是加强分类器对图像对中独属于单一图像自身的独特语义信息的敏感性。

根据论文的网络架构，可以发现对比共注意模型以提取到的共注意特征作为${\mathbf{F}}_m^{m\cap n}$与${\mathbf{F}}_n^{m\cap n}$输入，首先，对比共注意模块使用如下方法强化共注意特征中的共享语义信息（理论上，共注意特征中共享语义区域会有更大的值）：
$${\mathbf{B}}_m^{m\cap n}=\sigma \left({\mathbf{W}}_B{\mathbf{F}}_m^{m\cap n}\right)\in [0,1{]}^{H\times W},{\mathbf{B}}_n^{m\cap n}=\sigma \left({\mathbf{W}}_B{\mathbf{F}}_n^{m\cap n}\right)\in [0,1{]}^{H\times W}$$
上式中的${\mathbf{W}}_B$是一个$1\times 1$的卷积层，$\sigma$代表sigmoid激活函数，因此，在${\mathbf{B}}_m^{m\cap n}$与${\mathbf{B}}_n^{m\cap n}$中，共享语义区域比非共享语义区域具有明显更大的值。用1减去以上的值，即得到对比共注意矩阵：
$${\mathbf{A}}_m^{m\backslash n}=1-{\mathbf{B}}_m^{m\cap n}\in [0,1{]}^{H\times W},{\mathbf{A}}_n^{n\backslash m}=1-{\mathbf{B}}_n^{m\cap n}\in [0,1{]}^{H\times W}$$
结合整个过程，对比共注意特征相当于在强化了共注意特征之后将其围绕1取反，反向突出了除了共享语义区域之外的阴性区域，以此作为非共享语义要素的注意图。

回顾共注意特征的计算过程，${\mathbf{F}}_m^{m\cap n}$由${\mathbf{F}}_n$与${\mathbf{A}}_n$计算得到，相对来说，其内部对与来自${\mathbf{F}}_n$中的语义信息注意力更高，因此，经过上述处理以后，${\mathbf{A}}_m^{m\backslash n}$中的注意力信息更加集中于来自${\mathbf{F}}_m$的互斥语义。

在此基础上，计算对比共注意特征：
$${\mathbf{F}}_m^{m\backslash n}={\mathbf{F}}_m\otimes {\mathbf{A}}_m^{m\backslash n}\in {\mathbb{R}}^{C\times H\times W},{\mathbf{F}}_n^{n\backslash m}={\mathbf{F}}_n\otimes {\mathbf{A}}_n^{n\backslash m}\in {\mathbb{R}}^{C\times H\times W}$$
其中，“$\otimes$”表示元素间的点积操作，同样将其带入分类器损失，即可得到对比共注意力损失函数：
$$\begin{array}{rl}{\mathcal{L}}_{\overline{\mathrm{c}\mathrm{o}-\mathrm{a}\mathrm{t}\mathrm{t}}}^{mn}\left(\left({\mathbf{I}}_m,{\mathbf{I}}_n\right),\left({\mathbf{l}}_m,l_n\right)\right)=& {\mathcal{L}}_{\mathrm{C}\mathrm{E}}\left({\mathbf{s}}_m^{m\backslash n},{\mathbf{l}}_m\backslash {\mathbf{l}}_n\right)+{\mathcal{L}}_{\mathrm{C}\mathrm{E}}\left({\mathbf{s}}_n^{n\backslash m},{\mathbf{l}}_n\backslash {\mathbf{l}}_m\right)\\ =& {\mathcal{L}}_{\mathrm{C}\mathrm{E}}\left(\mathrm{GAP}\left(\phi \left({\mathbf{F}}_m^{m\backslash n}\right)\right),{\mathbf{l}}_m\backslash {\mathbf{l}}_n\right)+\\ & {\mathcal{L}}_{\mathrm{C}\mathrm{E}}(\mathrm{GAP}\left(\phi \left({\mathbf{F}}_n^{n\backslash m}\right),{\mathbf{l}}_n\backslash {\mathbf{l}}_m\right)\end{array}$$
该损失计算的是每个对比共注意特征的分类得分与其自身包含的互斥语义类别标签之间的交叉熵，目的在于使分类器对与对比共注意特征，将其归类为对应的互斥语义类别之中。

为什么要额外引入一个对比共注意呢？本质上，对比共注意是对共注意信息的互补，以便分类器可以很好地学习到图像中剩余的互斥语义信息，并且帮助分类器区分出共享语义与非共享语义。如下图，假如在共注意特征提取时，非共享语义“奶牛”被错误识别为共享语义“人类”，在对比共注意特征中，该部分将会被剔除出非共享语义注意的范围，而剩余的注意力信息不足以帮助分类器寻找到“奶牛”，从而能促使分类器对共享语义与非共享语义的区分度。

3.2 网络架构细节

实际进行实验时，损失函数为上述三者的和，每个损失函数系数均为1，并且保证每个图像对至少有一个共同的语义标签。
$$\mathcal{L}=\sum _{m,n}{\mathcal{L}}_{\text{basic }}^{\mathrm{mn}}+{\mathcal{L}}_{\text{co-att }}^{mn}+{\mathcal{L}}_{\overline{\mathrm{c}\mathrm{o}-\mathrm{a}\mathrm{t}\mathrm{t}}}^{mn}$$
本文采用了单轮前馈预测和额外参考信息的多轮共注意预测，如下图所示，第一种是一般的训练方法。对于多轮预测，具体来说就是在计算共注意分类损失时，使用了数据集中的额外相关图像（后续有做消融实验对比）。具体来说，对于含有标签$k$的某一图像${\mathbf{l}}_n$，计算其与其他若干张含有标签$k$的图像关于$k$的共注意特征，并计算出每一对之间的共注意分类得分，用这个分类得分的均值作为${\mathbf{l}}_n$对于标签$k$的的共注意分类结果。

在获取到高质量的定位图之后，以此作为伪ground truth进行语义分割网络的训练，本文选择的分类网络是基于ImageNet预训练的VGG-16，语义分割网络是基于ResNet101的DeepLab-LargeFOV架构。

4 Experiment

4.1 只在PASCAL VOC Data上学习WSSS

本实验只使用仅含图像级标签监督信息的PASCAL VOC 2012中的图像进行训练，共包含20个类，一共10582张图片用于训练，val集包含1449张图像，test集包含1456张图像。对于val与test，使用语义分割常用的标准交并比（IoU）作为评价指标，即（目标区域与预测区域的交集）/（目标区域与预测区域的并集），具体结果如下：

作者还可视化了其语义分割结果，与PSA，OAA+进行对比，图像如下（从左到右依次是PSA,OAA+和本文方法）：

4.2 在PASCAL VOC Data和额外简单单标签数据上学习WSSS

本实验在PASCAL VOC 2012与额外的简单单标签数据上训练模型，其中额外的单标签数据来自ImageNet CLS-LOC和Caltech-256数据库的子集，共包含20个类别20057张额外简单单标签图像数据。IoU结果如下：

4.3 在PASCAL VOC Data和从网络获取的数据上学习WSSS

本实验在PASCAL VOC 2012与额外的根据标签名称从必应搜索获得的图像数据上进行训练，共包含20个类别以及总共76683张图像。IoU结果如下：

4.4 训练出的WSSS在${\mathrm{L}\mathrm{I}\mathrm{D}}_{20}$挑战上的表现

数据集基于ImageNet，包含共有200个图像级标签的349319张图像，本挑战采用的分类器网络基于ResNet-38，并对网络实验参数进行了一些调整。使用均交并比（mIoU）,即计算所有类别的交并比取均值作为评价方案，结果如下：

注意，在$LI{D}_{19}$中，还可以使用额外的显著性属性标记信息，本文在不使用该信息的情况下表现也优于19年的冠军队伍。

4.5 消融实验

4.5.1 推理策略

本实验比较了单轮推理策略，多轮推理策略使用不同方法的IoU得分，结果如下：

结果显示多轮策略比单论策略的表现有所提升，而当包含了其他相关图像时，对比共注意的加入无法提升定位图推断的性能，作者认为是因为对比共注意特征来自图像自身，而定位图推断更多依赖于上下文信息。

4.5.2 损失函数

本实验评估了多种损失函数组合方式对mIoU得分的影响，如下：

可以看出，加入共注意损失时，性能提升了3.8%，再加入对比共注意损失时性能又提升了0.7%。

4.5.3 额外图像

作者比较了输入0-5张额外相关图像进行训练时模型的IoU表现，发现添加三张时模型效果最好，随着数量继续增大，噪声的影响盖过了辅助信息的作用，导致性能下降。