论文笔记：SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networksfor Image Captioning

SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networksfor Image Captioning

论文笔记

1、提出问题

• 现存的注意力机制模型大体上是空间的，例如对最后一个特征图的每一个位置赋予一个权值。但是这种空间注意力机制并不能有效的符合注意力机制的初衷，即：一个动态的与上下文有关系的横跨时间的特征提取器。

2、提出方法

• 作者认为CNN具有三个非常重要的性质，channel，spatial，multilayer（通道，空间，多层）。但是现有的基于注意力机制的CNN方法大多只在网络最后一层的引入spatial attention机制，没有了hannel和multilayer这两个特性。

• 本文提出一种新的卷积神经网络，称为SCA-CNN。引入通道注意力机制。channel-wise attention在回答“是什么”，而spatial attention是在回答“在哪儿”，二者是不一样的。通常的注意力机制只关注了第二点。

3、模型

3.1、概述

​ 本文采用流行的编解码器框架来生成图像字幕，其中CNN首先将输入图像编码成一个向量，然后LSTM将该向量解码成一个单词序列。本文的主要改进在CNN特征提取方面上。

SCA-CNN的整个attention的更新方式：

某一层的运算流程如下公式：

假设我们想要生成图像标题的第t个单词。

其中，X^l-1是调制的特征；V^l是CNN输出的特征图（卷积，然后池化，下采样或卷积）；$\Phi$(.)是空间和通道方向的注意力函数（后面详细介绍）；$\gamma$是空间和通道方向的关注权重；f(·)是调制CNN特征和关注权重的线性加权函数，应用了按元素相乘。

通过以下方式生成第t个单词：

其中，L是卷积层数；p_t$\in$R^|D|是概率向量，D是预先定义的包含所有描述单词的字典；y_t-1是上一个时刻输出的单词。

但上式存在着运算量过大的问题。因此，为了节省空间，作者提出了一种分别学习空间注意权重$\alpha$和通道注意权重$\beta$的方法：

$\Phi$^c,$\Phi$^s分别表示信道和空间注意模型.

3.2、空间注意力

我们通过展平原始V的宽度和高度来重塑V=[v1，v2，…，Vm]，其中vi$\in$R^c和m=W*H。我们可以认为通孔是第i个位置的视觉特征。在给定先前时间步长LSTM隐藏状态h_t−1的情况下，我们使用单层神经网络，然后使用Softmax函数来生成图像区域上的注意力分布$\alpha$。

以下是空间注意力模型$\Phi$的定义：

W_s$\in$R^k*c,W_hs$\in$R^k*d,W_i$\in$R^k是变换矩阵，将图像视觉特征和隐藏状态映射到相同维度；$⨁$为矩阵和向量之间的加法，矩阵和向量之间的加法是通过将矩阵的每一列与向量相加来实现的；b^s$\in$R^k,bⁱ$\in$R¹是偏置。

3.3、通道注意力

首先将V重塑为U，并且U=[u1，u2，…，uC]，其中U_i$\in$R^W×H表示特征图V的第i个通道，而C是通道的总数。然后，我们对每个通道进行平均池化以获得通道特征V：

其中标量v_i是表示第i个通道特征的矢量u_i的平均值。在空间注意模型的定义之后，基于通道的注意模型$\Phi$可以定义如下：

W_c$\in$R^k,W_hs$\in$R^k*d,W_i^‘$\in$R^k是变换矩阵；$⨂$表示向量的外积；b_c$\in$R^k,b_i^‘$\in$R¹是偏置。

3.4、混合使用

根据通道注意和空间注意的不同实施顺序，存在两种同时包含两种注意机制的模型。我们将这两种类型区分如下：

通道-空间注意力(C-S):

首先，在给定初始特征图V的情况下，我们采用基于通道的注意权重$\Phi$_c来获得通道通道的注意权重$\beta$。通过$\beta$和V的线性组合，我们得到了按通道加权的特征映射。然后将通道加权特征图反馈给空间注意力模型$\Phi$_s，得到空间注意力权重$\alpha$。在获得两个注意力权重$\alpha$和$\beta$后，我们可以将V、$\beta$，$\alpha$馈送到调制函数f(.)以计算调制特征图X。

f_c是特征映射通道和相应通道权重的通道乘法.

空间-通道注意力(S-C):

在给定初始特征图V的情况下，我们首先利用空间注意力$\Phi$_s来获得空间注意力权重$\alpha$。基于$\alpha$、线性函数f_s(·)和通道方向注意模型$\Phi$_c，我们可以按照C-S类型的方法来计算调制特征X。

f_s是每个特征图通道的区域及其相应的区域权重的元素级乘法.