CVPR 2019|CFNet：语义分割中的共现特性

🏆本篇论文提出了Coocurrent Feature Model，该模型可以利用整体场景中共现特征，辅助预测目标特征。该模型在Pascal Context 达到54.0%mIOU，在Pascal VOC 2012和ADE20K分别达到87.2%以及44.89%mIOU。

会议/期刊：CVPR2019

论文题目：《Co-occurrent Features in Semantic Segmentation》

论文链接：Co-Occurrent Features in Semantic Segmentation (thecvf.com)

开源代码：https://github.com/huy105/CFNet

解决的问题

共现特征

作者发现图像中存在🚀共现特征（即输入图像中与目标特征共同出现的特征）。比如在城市景观图像中，很难分辨的出海洋、湖泊、江河，但是当有帆船在图片上的时候，出现海洋的可能性很大。

同时，这种共现特征不仅出现在2个不同物体间，也出现在同一物体不同部位。比如要识别出长条椅和扶手椅，如果出现了扶手这个特征，那么答案是扶手椅的可能性更大，如下图：

现有的问题

先前的FCN距离较窄，而最近提出的ASPP或者是DASPP结构，只适用于距离较近的共现特征，不具有空间不变性

思路和主要过程

特征共现

作者把特征共现看作是一个概率问题。作者一开始使用了softmax去计算概率
$$\mathbf{p}\left({\mathbf{x}}_{\mathbf{c}}\mid {\mathbf{x}}_{\mathbf{t}}\right)=\frac{{\mathbf{e}}^{\mathbf{s}\left({\mathbf{x}}_{\mathbf{c}},{\mathbf{x}}_{\mathbf{t}}\right)}}{{\sum }_{\mathbf{i}=1}^{\mathbf{N}}{\mathbf{e}}^{\mathbf{s}\left({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{t}}\right)}}$$
经过CNN处理后的特征图X={$x_1,x_2,...,x_N$}；

$s(x_c,x_t)$ 表示目标特征 $x_t$和共现特征$x_c$的相似性；$p(x_c|x_t)$表示二者出现的概率

但作者发现，在室内场景中椅子与人共同出现，但在室外场景中却期待车辆和建筑物。简单的softmax不能考虑复杂的先验环境

所以，需要在softmax的基础上，加上图像所处的环境信息，作者在此提出了一个🔥混合softmax（Mos）
$$p\left(x_c\mid x_t\right)=\sum _{k=1}^K{\pi }^k\frac{e^{s^k\left(x_c,x_t\right)}}{{\sum }_{i=1}^N{e}^{s^k\left(x_i,x_t\right)}},$$
下面进行一个简单的推导：

$s^k(x_c,x_t)$表示在k这个环境的先验条件下，目标特征和共现特征的相似度。

${\pi }^k$表示网络经过训练，可以判定图片所处的环境是k环境的概率。$w_k$是语义信息，$v_x$是学习到的一个矢量。
$${\pi }^k=\frac{\exp \left(w_k^{\top }\overline{v_x}\right)}{{\sum }_{k^{\prime }=1}^K\exp \left(w_{k^{\prime }}^{\top }\overline{v_x}\right)}$$
Mos允许不同语义环境下的共现特征可以有不同的先验条件。简而言之，就是考虑了一层环境因素

ACF模块

作者利用这个共现特征，设计了共现特征模块（ACF）。
$$z_t=\sum _{c=1}^{N}p\left(x_c\mid x_t\right)\cdot {\psi }_c$$
其中，$p(x_c|x_t)$是出现共现特征则判定为目标特征的概率，${\psi }_c$是图片上的第c个特征

从$1-N$将所有特征的概率都累加起来，最后得到$z_t$，$z_t$越大，则出现目标特征的概率越大

CFNet

作者设计了一个CFNet网络，如下图所示

其中，有几个小trick：

• 为了减少计算量，作者在Input Features这部分把$H\ast W\ast C$的图像拉伸到了$(H\ast W)\ast C$的二维矩阵

• 最上面的Pool是为了获取全局特征而下面的两条支路是为了获取共现特征

实验结果

提出的CFNet(ResNet101)网络在 Pascal Context上实现了当时(2019年)最先进的结果54.0%mIoU，在Pascal VOC 2012上实现了87.2%mIoU，在ADE20K上实现了44.89%mIoU