[论文阅读] Stereoscopically Attentive Multi-scale Network for Lightweight Salient Object Detection

论文地址：https://dx.doi.org/10.1109/TIP.2021.3065239
代码：https://mmcheng.net/SAMNet
发表于：TIP 2021

Abstract

显著目标检测(SOD)的最新进展主要得益于卷积神经网络(CNN)的爆炸性发展。然而，大部分的改进是伴随着更大的网络规模和更重的计算开销而来的。我们认为，这对移动场景并不友好，因而很难在实践中部署。为了促进更实用的SOD系统，我们引入了一个新颖的立体注意力多尺度(SAM)模块，其采用了立体注意机制来自适应地融合多尺度的特征。在这个模块的基础上，我们提出了一个极其轻量级的网络，即SAMNet，用于SOD。在流行的基准测试上进行的广泛实验表明，所提出的SAMNet产生了与SOTA相媲美的精确度，同时在336×336的输入中能以343fps的速度在GPU上运行，5fps的速度在CPU上运行，参数只有1.33M。因此，SAMNet为SOD铺设了一条新的道路。源代码可在项目页面上找到。

I. Motivation

目前的许多SOTA方法都是依赖堆砌大量模块，增加网络可训练参数来提升性能的。这种情况下，虽然性能有一定提升，然而在推理时却需要大量的计算资源(如在TITAN XP上只能跑10fps左右)，并不适合手机、汽车、机器人等移动设备。

那么既然要做移动端的，相当于就设计做轻量级的网络，这个其实在图像分类任务里研究的比较多，比如MobileNet、ShuffleNet。在核心思想上，本文与这些轻量网络是有一定相似性的。但是，由于用于图像分类的轻量网络往往深度较浅，并且在操作上有所简化，因此其多尺度特征学习与融合的能力是不如大型网络的，不能通过换backbone的方式直接套在SOD任务上。为此，本文设计了一个SAM模块，来做到既轻量级又能实现多尺度特征学习融合。

II. Network Architecture

整体来看仍属于Encoder-Decoder。既然是做轻量级网络，那么和其他任务中的思路类似，也是将传统的卷积替换为更加高效的卷积，实现牺牲少量性能来换取更高的时间效率。而为了弥补性能的下降，也需要设计一些简洁的模块来实现更有效的学习。为此，SAMNet中的传统卷积(除第一层外)被替换为了DSConv，以提高计算效率。此外，Encoder与Decoder之间使用了一个PPM[2]模块来提升全局信息的学习能力。网络各层具体的配置如下所示：

其中的SAM模块为用于提升性能的轻量级模块，将在后文进行分析。

III. Dilated Depthwise Separable Convolution & Multi-Scale Learning

既然本文要做轻量级的网络，那么传统的卷积肯定就要替换为更加高效的卷积。为此，本文提出了空洞深度可分离卷积(DDSC)，作为SAMNet中的基本卷积算子。需要注意的是DSConv最早提出于MobileNet。MSL的一部分结构如下所示：

详细结构图可以在下一节中看到。所谓多尺度学习(MSL)，指的就是利用不同dilate rate的并行卷积来提取提取多尺度特征，并最终进行融合。对于通道数为$C$，高为$H$，$W$的输入特征图$\mathbf{I}\in {\mathbb{R}}^{C\times H\times W}$，首先使用一个3×3的深度可分离卷积(DSConv)，来替换传统的3×3卷积。此时，可以得到待被各分支提取的共同信息${\mathbf{F}}_0$，有：$${\mathbf{F}}_0={\mathcal{K}}_0(\mathbf{I})$$ 其中${\mathcal{K}}_0$表示3×3的DSConv。之后，使用不同dilation rate的DSConv(即各分支)来对${\mathbf{F}}_0$进行处理，得到不同尺度的信息：$${\mathbf{F}}_i={\mathcal{K}}_i\left({\mathbf{F}}_0\right),i=1,2,\cdots ,N$$ 其中${\mathcal{K}}_i$表示分支$i$的3×3 DSConv，$B$为分支数。接着，使用带有残差连接的element-wise sum来实现多尺度特征的融合，有：$$\mathbf{F}=\sum _{i=0}^N{\mathbf{F}}_i$$ 这里有个小常识，既然要提升时间效率，是肯定不能用channel-wise concat的，按通道叠加会急剧增加通道数，带来运算开销。最后使用传统(vanilla)1×1卷积对融合特征$\mathbf{F}$进行重排，有：$$\mathbf{O}={\mathcal{K}}_{\text{fuse }}(\mathbf{F})+\mathbf{I}$$ 其中${\mathcal{K}}_{\text{fuse }}$表示1×1卷积，$\mathbf{I}$表示残差连接。

落实到具体实现上，上面提到的dilation rate和分支数都属于超参数。对于浅层特征，其一般分辨率较高，包含多尺度上下文信息，因此需要用更多的分支以及相应的不同dilation rate来进行处理学习。

IV. Stereoscopically Attentive Multi-scale Module

上一节提到了，为了保证时间性能，特征融合采用的是element-wise sum而非channel-wise concat。但是用sum的话，很明显有个这个问题：有价值的信息可能被无价值的信息给覆盖掉。为了解决这一问题，本文提出了SAM模块，其结构如下所示：

把图中绿色部分的Attention Mechanism抠掉的话，剩下的部分其实就是上一节所讲的Multi-Scale Learning。而正是因为MSL带来的性能提升有限，因此这里才继续引入了个注意力机制。

MSL与注意力机制共同构成了SAM模块。接下来，我们将逐步分析SAM的各个组成部分：

• Stereoscopic Attention Mechanism
• Scale Fusion
• Channel-Wise Attention
• Spatial Attention

注意，由于这个注意力机制是插在MSL中间的，因此上节提到的融合特征$\mathbf{F}$实际上会记做一个中间的融合特征$\mathbf{M}$，在后文描述时需注意区分。

V. Stereoscopic Attention Mechanism

所谓立体注意力，指的是本文最终的注意力是通过将空间注意力与通道注意力扩充后相乘得到的，而非传统的进行串联或并联：

记输入多尺度特征为一个四维的tensor：$F\in {\mathbb{R}}^{(N+1)\times C\times H\times W}$(即上图中的$M$)。作为多尺度特征，$F$是由各分支 i ∈ { 0 , ⋯ N } i \in\{0, \cdots N\} i∈{0,⋯N}生成的各特征$F_i\in {\mathbb{R}}^{C\times H\times W}$融合得到的。文中认为，空间注意力与通道注意力都是重要的，因此最终的注意力权重$\mathbf{v}$是通过两者相乘得来，有：$$\mathbf{v}=\mathbf{d}\otimes \mathbf{s}$$ 其中$\mathbf{d}\in {\mathbb{R}}^{(N+1)\times C}$代表传统的channel-wise attention，$\mathbf{s}\in {\mathbb{R}}^{(N+1)\times H\times W}$代表传统的spatial-wise attention，$\otimes$代表element-wise乘。需要注意，在相乘前$\mathbf{d}$与$\mathbf{s}$会被复制至$(N+1)\times C\times H\times W$尺寸以便进行相乘。

VI. Scale Fusion

scale fusion算是一种降低计算开销的手段，其实就是利用element-wise sum替代channel-wise concat来进行特征融合，即下图中的Feature Fusion：

有：$$M=\sum _{i=0}^N{F}_i$$ 一个有意思的点是，个人认为这里在融合的时候并没有采用注意力机制，但是文中称Scale Fusion通过"learning of all branches"获得了注意力。

VII. Channel-Wise Attention

和其他空间注意力机制一样，本文的Spatial Attention最终也是要给每个分支$i$计算一个通道注意力向量：$${\mathbf{W}}_i^D\in {\mathbb{R}}^C$$ 其结构如下所示：

其实这么看的话，属于GAP+FC+FC架构，相当于直接用了个SEBlock。具体来说，首先使用一个全局平均池化来对融合特征$\mathbf{M}$进行处理：$$\begin{array}{rl}{z}_c& ={\mathcal{F}}_{\mathrm{G}\mathrm{A}\mathrm{P}}(\mathbf{M})=\frac{1}{HW}\sum _{i=1}^H\sum _{j=1}^W{\mathbf{M}}_{c,i,j}\\ c& =0,1,\cdots ,C-1\end{array}$$ 得到latent vector $z\in {\mathbb{R}}^C$，其包含$M$的channel wise信息。然后再利用两个全连接层(这两个全连接层组成了一个MLP)来提取不同尺度下的channel wise信息：$$\mathbf{d}={\mathcal{F}}_{\mathrm{M}\mathrm{L}\mathrm{P}}(\mathbf{z})$$ 注意这里的$\mathbf{d}\in {\mathbb{R}}^{(N+1)C}$是一个向量，后面还要reshape回原来的形状${\mathbb{R}}^{(N+1)\times C}$。接着再用softmax激活函数对$\mathbf{d}$进行处理，得到最终的通道注意力：$${\mathbf{W}}_{i,c}^D=\frac{e^{d_{i,c}}}{{\sum }_{j=0}^N{e}^{d_{j,c}}},i=0,1,\cdots ,N;c=1,2,\cdots ,C$$

VIII. Spatial Attention

和其他空间注意力机制一样，本文的Spatial Attention最终也是要算张注意力图：$${\mathbf{W}}_i^S\in {\mathbb{R}}^{H\times W}$$ 其结构如下所示：

如果用最简单的做法话，只用一个单独的卷积层便可以来算空间注意力。不过为了达到更好的效果，这里用了多级感受野，有：$$\mathbf{s}={\mathcal{F}}_4^{1\times 1}\left({\mathcal{F}}_3^{3\times 3}\left({\mathcal{F}}_2^{3\times 3}\left({\mathcal{F}}_1^{1\times 1}(\mathbf{M})\right)\right)\right)$$ 其中${\mathcal{F}}_i^{k\times k}$表示第$i$个$k\times k$卷积，可以发现这里首先用了个1×1卷积来降通道。与通道注意力类似，在经过reshape后，这里最后也需要使用softmax激活函数进行处理以得到最终的空间注意力：$$\begin{array}{rl}{\mathbf{W}}_{i,h,w}^S& =\frac{e^{s_{i,h,w}}}{{\sum }_{j=0}^N{e}^{s_{j,h,w}}},i=0,1,\cdots ,N\end{array}$$

IX. Experiment

性能超越了20个最近模型，包括DRFI(CVPR 2013)、DCL(CVPR 2016)、DHS(CVPR 2016)、RFCN(ECCV 2016)、NLDF(CVPR 2017)、DSS(CVPR 2017)、Amulet(ICCV 2017)、UCF(ICCV 2017)、SRM(ICCV 2017)、PiCA(CVPR 2018)、BRN(CVPR 2018)、C2S(ECCV 2018)、RAS(ECCV 2018)、DNA(TCYB 2021)、CPD(CVPR 2019)、BASNet(CVPR 2019)、AFNet(CVPR 2019)、PoolNet(CVPR 2019)、EGNet(ICCV 2019)、BANet(ICCV 2019)。

X. Summary

先提一个小插曲，严格来讲本文并不是第一个轻量级的SOD网络，在此之前有个U²Net[2]，其简化版本模型大小也仅有4.7MB，不过没有本文1.33M参数量这么极致。从结构上讲，该网络参数量如此之少可能主要源于各Enocder block与Decoder block都仅包含一个轻量化的深度可分离卷积，而非其他方法中的若干个传统卷积。在这种情况下，网络的推理精度会有很大的下降，难点在于如何设计简单模块来进行有效地性能提升。因此本文设计了SAM模块，主要亮点在于空间注意力与通道注意力的结合方式。传统方法往往只采用单一注意力(SENet)或者将两者进行串联(CBAM)、并联(BAM)，而本文通过将两种注意力repeat至同一尺寸后相乘，更好地照顾了各个分支的信息，实现了更优的效果。

Ref

[1] H. Zhao, J. Shi, X. Qi, X. Wang, and J. Jia, “Pyramid scene parsing network,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 2881–2890.
[2] Qin, Xuebin, et al. “U2-Net: Going deeper with nested U-structure for salient object detection.” Pattern Recognition 106 (2020): 107404.