Visual Attention 相关论文阅读笔记

Visual Attention 相关论文阅读笔记

SENet

github ：https://github.com/hujie-frank/SENet

简介

使用 Squeeze-and-Excitation 模块即 SE 模块，以建模通道之间的依赖关系，自适应校准通道特征响应。说白了就是对每个通道的数据进行提取于变换后，再返回对通道进行加权，同时变换的参数是可学习的。

具体做法

SE block 是一个建立于变换之上的计算单元，当输入经过一个卷积变换 $F_{tr}$ 之后，由于输出的单个通道是通过对输入的所有通道与单个卷积核进行卷积后求和而得的，所以对通道的依赖在卷积操作上隐式存在。作者希望通过对该依赖进行显式建模，以提高网络的性能。

为了获取通道之间的依赖关系，需要先对每个通道的信息进行提取，作者使用的方式为对每个通道进行 GAP 操作，即全局平均池化。作者认为池化后的结果能够描述整个通道，也可以用更复杂的策略以提取通道特征。公式如下：
$$z_c=F_{sq}(u_c)=\frac{1}{H\times W}\sum _{i=1}^H\sum _{j=1}^W{u}_c(i,j)$$
为了完全捕获通道间的依赖关系，作者提出需要满足以下两点：

• 能够学习通道之间的非线性关系
• 多个通道能够同时被激活

为了满足以上需求，作者使用两个全连接层对通道权值进行非线性映射，在第一个全连接层后使用 ReLU 激活函数，第二个全连接层后使用 Sigmoid 激活函数。公式如下：
$$s=F_{ex}(z,W)=\sigma (g(z,W))=\sigma (W_2\delta (W_{1}z))$$
最后将得到的通道权值乘回输出就完成了操作。
$$\tilde{x}=F_{scale}(u_c,s_c)=s_c{u}_c$$

一些别的

作者实验了在不同位置增加 SE block 的效果：

最后显示 Standard SE block 、 SE-PRE block 、 SE-Identity block 都不错。

SKNet

github ：https://github.com/implus/SKNet

简介

SKNet 是 SENet 的升级版，在对通道进行加权的同时，对卷积核也进行了选择。其包含分割，融合，选择三个步骤。

在分割中，使用多个卷积核对输入分别进行卷积操作，得到多个结果。

在融合中，对多个卷积结果进行相加，然后使用与 SENet 相同的通道权值提取操作，得到一串通道权值。

在选择中，将通道权值与卷积核数量相同的预设矩阵进行相乘，将单个通道权值转换为多个的通道权值，且数量与卷积核数量相同，再进行 softmax 操作，后乘回卷积的结果，相加后输出。

具体操作

Split

对于输入$X$ , 使用多个不同的卷积核进行卷积操作，文中指出使用的都是深度卷积，并且在卷积之后都经过了 BN 以及 ReLU 激活函数，最终得到 $\tilde{U}$与 $\hat{U}$。

Fuse

为了融合使用不同卷积核得到的结果信息，需要将 $\tilde{U}$ 与 $\hat{U}$ 相加，得到 $U$，即：
$$U=\tilde{U}+\hat{U}$$
与 SENet相同，使用 GAP 获取每个通道的信息：
$$s_c=F_{gp}(U_c)=\frac{1}{H\times W}\sum _{i=1}^H\sum _{j=1}^W{U}_c(i,j)$$
同样的，使用全连接层进行非线性变换：
$$z=F_{fc}(s)=\delta (B(Ws))$$
其中函数 $B$ 表示 BN 操作。另外需要注意的是，这里也将权值维度减小到 $d$， $d$ 的值由通道数量除以一个比值决定，该比值为超参数，具体为：
$$d=\max (C/r,L)$$
其中 $L$ 一般取 32。

Select

在这部分，预先设置了几个可学习的参数，这些参数用于将上一步得到的通道信息，分离成与先前进行卷积的卷积核相同个数。参数的个数与卷积核的个数相同。论文中使用了两个卷积核，则该处就预先生成了参数 $A$ 与 $B$。$A$ 与 $B$ 皆为 $C\times d$ 维矩阵，$z$ 为 $d$ 维向量。则 $Az$ 与 $Bz$ 为 $C$ 维向量，可以乘回 $\tilde{U}$ 与 $\hat{U}$ 。

在乘回之前，需要对 $Az$ 与 $Bz$ 进行 softmax 操作，以选择参数的重要性。该步不仅将通道之间进行了加权，也将 $\tilde{U}$ 与 $\hat{U}$ 进行加权。并且与之前一步可以一同进行：
$$a_c=\frac{e^{A_{c}z}}{e^{A_{c}z}+e^{B_{c}z}},b_c=\frac{e^{B_{c}z}}{e^{A_{c}z}+e^{B_{c}z}}$$
可以看到，当只使用两个卷积核时，也就是只存在参数 $A$ 与 $B$ 时，$b_c=1-a_c$ 。通过上式即可得到 $\tilde{U}$ 与 $\hat{U}$ 的通道权值 $a$ 与 $b$ ，将其乘回 $\tilde{U}$ 与 $\hat{U}$ 并相加后即可得到输出：
$$V=a\cdot \tilde{U}+b\cdot \hat{U}$$

Attention-UNet

简介

Attention-UNet 不同于上述两种方法使用通道注意力机制，而是使用空间注意力，原文为三维分割，此处只概述其注意力模块。

具体操作

该网络基于 UNet，在跳接部位使用了注意力门（AG）模块。该模块需要两个输入，分别为来自 Encoder 部分的的跳接，与来自 Decoder 部分深一层的输入，具体如上图。

该注意力门模块中 $g$ 代表的是来自 Decoder 部分输入， $x^l$ 代表的是 Encoder 部分的输入。首先 $x$ 与 $g$ 都需要经过一次卷积变换，由于 $x$ 与 $g$ 的图像尺寸不同，需要将 $x^l$ 降采样到与 $g$ 相同的尺寸，然后将他们相加。使用 ReLU 激活函数对结果进行非线性变换后，再进行一个卷积操作：
$$q_{att}^l=\psi ({\sigma }_1(W_x^T{x}_i^l+W_g^T{g}_i+b_g))+b_{\psi }$$
将结果进行 Sigmoid 操作，得到空间权值。但当前的尺寸为 $g$ 的尺寸，需要再上采样到 $x^l$ 的尺寸，最后将结果乘回 $x^l$ 完成输出：
$$\begin{gathered} a_i^l={\sigma }_2(q_{att}^l) \\ {\hat{x}}^l=Resample(\alpha )\cdot x^l \end{gathered}$$

CBAM

简介

该论文提出了一个新的注意力模块 CBAM，其中通过串联的方式融合了通道注意力与空间注意力，并通过实验证实了该连接结构最优。

具体操作

该论文将输入依次通过通道注意力与空间注意力，通过公式可以概括为：
$$\begin{gathered} F^{\prime }=M_c(F)\cdot F \\ {F}^{\prime \prime }=M_s(F)\cdot F^{\prime } \end{gathered}$$

其中通道注意力的结构如上，其实跟 SENet 差不多，将 GAP 变为并行的 GAP 和 GMP，然后将两部分结果经过 同一个 MLP 单元，得到两组通道权值，再将它们相加后进行 sigmoid 并乘回，即可得到通道注意力 Map。因为和之前的区别不大就不概述了，公式如下：
$$\begin{gathered} M_c(F)=\sigma (MLP(AvgPool(F))+MLP(MaxPool(F))) \\ =\sigma (W_1(W_0(F_{avg}^c))+W_1(W_0(F_{max}^c))) \end{gathered}$$

通道注意力部分，使用通道维度的 GAP 和 GMP 变为两个图像尺寸的参数平面，使用 concat 操作连接后一同放入一个卷积操作，文中此处的卷积核尺寸为 $7\times 7$，输出的通道数为1。最后再使用 sigmoid 激活函数即可得到空间注意力 Map，公式如下：
$$\begin{gathered} M_s(F)=\sigma (f^{7\times 7}([AvgPool(F);MaxPool(F)])) \\ =\sigma (f^{7\times 7}([F_{avg}^s;F_{max}^s])) \end{gathered}$$

BAM

简介

该网络与 CBAM 网络类似，都是结合了通道注意力与空间注意力，两篇论文发布在相同时期。不同的是，CBAM 中使用了将通道注意力和空间注意力串联的方式，而在 BAM 中则使用了并联后直接相加的方式。

具体做法

和 CBAM 一样有个精炼公式：
$$\begin{gathered} F^{\prime }=F+F\cdot M(F) \\ M(F)=\sigma (M_c(F)+M_s(F)) \end{gathered}$$
首先看通道注意力部分，依旧是首先使用 GAP 获取通道权值，使用全连接层进行非线性变换，中间将通道缩减至 $\frac{C}{r}$ 再变换回来，在最后做一个 BN：
$$\begin{gathered} M_c(F)=BN(MLP(AvgPool(F))) \\ =BN(W_1(W_{0}AvgPool(F)+b_0)+b_1) \end{gathered}$$
然后看空间注意力部分，首先使用尺寸为 $1\times 1$ 的卷积核，将通道缩减至 $\frac{C}{r}$ ，再经过两次 $3\times 3$ 的卷积进行非线性变换，最后再使用 $1\times 1$ 将通道缩减为 1 后经过 BN 得到空间注意力 Map，这公式真的脑溢血：
$$M_s(F)=BN(f_3^{1\times 1}(f_2^{3\times 3}(f_1^{3\times 3}(f_0^{1\times 1}(F)))))$$
得到空间注意力Map 和通道注意力Map 后，需要将他们融合使用，改论文中将他们直接相加，得到一个 $C\times H\times W$ 的张量，然后经过 Sigmoid 激活函数，得到最终的 BAM注意力 Map。将其乘回输入 $F$ 即得到最终结果 $F^{\prime }$。公式同之前的精炼公式。

ECA-Net

github : https://github.com/BangguWu/ECANet

简介

该网络为 SENet 的精简版，使用自适应卷积核尺寸的卷积操作替代了原来的 MLP 操作，减少参数的前提下还能提高模型性能（？）。

具体做法

和 SENet 基本没啥区别，就是把 MLP 换成卷积，其中卷积核尺寸的计算公式为：
$$k=\psi (C)={\left|\frac{{\log }_2(C)}{\gamma }+\frac{b}{\gamma }\right|}_{odd}$$
这个模型的设计思路为，作者认为一个通道不需要和其他所有通道都建立注意力，只需要与邻域的通道进行联系即可。

论文中还有代码…

Coordinate Attention

github : https://github.com/Andrew-Qibin/CoordAttention

简介

SENet 可以建立通道之间地相关性，但是缺乏位置上的信息。作者将通道注意分解为两个一维的特征编码过程，即将对于整张输入图像的全局池化变为仅在输入图像行轴或列轴上的池化。通过这种方法，可以沿着一个空间方向捕获远程依赖关系，同时沿着另一个空间方向保留精确的位置信息。

具体做法

分别使用 X 方向的平均池化 和 Y 方向的平均池化得到两组特征：
$$\begin{gathered} z_c^h=\frac{1}{W}\sum _{i=1}^W{x}_c(h,i) \\ {z}_c^w=\frac{1}{H}\sum _{j=1}^H{x}_c(j,w) \end{gathered}$$
得到两组特征后对其结构进行变换，统一为 $C\times 1\times (WorH)$ ，再进行 concat 操作，得到 $C\times 1\times (W+H)$ 的张量。使用 $1\times 1$ 的卷积，将其变换为 $C/r\times 1\times (W+H)$ 然后 BN 和 激活函数。再将其按 $W$ 和 $H$ 分离，得到 $f^h$ 和 $f^w$ 对其分别使用两个 $1\times 1$ 的卷积 $F^h$ 与 $F^w$ ，把通道数变回 $C$，并使用 Sigmoid 激活函数得到两个方向上的权值：

$$\begin{gathered} g^h=\sigma (F_h(f^h)) \\ {g}^w=\sigma (F_w(f^w)) \end{gathered}$$

然后将其乘回输入 $x$ 即可：

$$y_c(i,j)=x_c(i,j)\times g_c^h(i)\times g_c^w(j)$$

总结

以上为最近阅读的关于视觉中注意力机制的论文，测试得 SENet 和 Attention-UNet以及 CBAM 都有涨点，ECA-Net似乎评价不高，Coordinate Attention 还未使用，评价说涨点明显，等待测试。