论文阅读笔记：内卷involution《Involution: Inverting the Inherence of Convolution for Visual Recognition》

本笔记是根据论文和作者的论文讲解视频理解而写的，中间可能会存在理解偏差，望大佬们指正
论文链接：https://arxiv.org/abs/2103.06255
论文代码：https://github.com/d-li14/involution
作者论文解读视频

背景

基础概念：
  卷积操作：
$$Y_{i,j,k}=\sum _{c=1}^{C_i}\sum _{(u,v)\in {\Delta }_K}{\mathcal{F}}_{k,c,u+\lfloor K/2\rfloor ,v+\lfloor K/2\rfloor }{X}_{i+u,j+v,c}\text{\hspace{1em}(1)}$$
输入：$X\in {\mathbb{R}}^{H\times W\times C_i}$；输出：$Y\in {\mathbb{R}}^{H\times W\times C_o}$；卷积核：$\mathcal{F}\in {\mathbb{R}}^{C_o\times C_i\times K\times K}$，对于单个的卷积核${\mathcal{F}}_k\in {\mathbb{R}}^{C_i\times K\times K},k=1,2,\cdots ,C_o$;
感受野：${\Delta }_K=[-\lfloor K/2\rfloor ,\cdots ,\lfloor K/2\rfloor ]\times [-\lfloor K/2\rfloor ,\cdots ,\lfloor K/2\rfloor ]$
$C_i$和$C_o$分别为输入和输出通道的数量。

 卷积核在卷积操作中两大性质：空间不变性(spatial-agnostic，以下简称为sa)和通道特异性(channel-specifific，以下简称为cs).

sa：对于单个feature map，卷积核是共享的，即不同空间位置卷积核是相同的。
cs：对于输出的feature map，它们之间的卷积核是不同的。

 优势：
sa：同一个feature map不同的空间位置卷积核参数共享，降低了参数空间的复杂度；维护平移不变性
cs：提取图像中不同的语义信息。

 劣势：
sa：空间位置上卷积核是固定的，因此它不能根据输入特征灵活地调整不同空间位置的权重；卷积核$\mathcal{F}$的参数与$C_i$，$C_o$和卷积核尺寸$K$都有关系，$C_i$和$C_o$过大时容易限制$K$的大小（VGG之后，卷积核的尺寸$K$一般都为$3\times 3$),为了获得长距离的空间特征时就需要多次堆叠这种小卷积核，这在一定程度上不如使用一个大的卷积核。
cs：不同通道的卷积核可能存在冗余。

文章目的：设计一种新的算子，在计算高效的前提下，对于通道维度上有所缩减而又不影响表达能力，对于空间位置上能自适应的长距离关系的建模并灵活表达空间位置上不同的语义信息。

Involution

  Involution算子：
$$Y_{i,j,k}=\sum _{(u,v)\in {\Delta }_K}{\mathcal{H}}_{i,j,u+\lfloor K/2\rfloor ,v+\lfloor K/2\rfloor ,\lceil kG/C\rceil }{X}_{i+u,j+v,k}\text{\hspace{1em}(2)}$$
内卷核$\mathcal{H}\in {\mathbb{R}}^{H\times W\times K\times K\times G}$，对于单个的内卷核${\mathcal{H}}_{i,j,\bullet ,\bullet ,g}\in {\mathbb{R}}^{K\times K},g=1,2,\cdots ,G$.$G是分组数量(即深度可分离卷积中的group)，C通道总数$。

Involution的性质：通道不变性(channel-agnostic，以下简称为ca)和空间特异性(spatial-specifific，以下简称为ss)
ss：空间位置上的每一个像素都是单独享有一个核。
ca：通道维度是共享的，将C个通道分成G个组，每个组内是共享一个核，而组间核是不同的。

  Involution核的生成方法：
在卷积操作中，卷积核是一个固定尺寸可学习的参数矩阵($C_i\times C_o\times K\times K$)，而在Involution中并不是这样，它是基于feature map来生成对应的核，来确保核的大小核输入的input feature map在空间维度是对齐的(内卷核具有空间特异性，如果也参照卷积核的生成方法，即参数化为一个固定大小的矩阵，则学习到的内卷核无法迁移到一个输入像素不同的任务中)。
$${\mathcal{H}}_{i,j}=\varphi (X_{{\Psi }_{i,j}})\text{\hspace{1em}(3)}$$
$\varphi$即为一个核生成函数，${\Psi }_{i,j}$是$像素{\mathcal{H}}_{i,j}$所限定集合(邻域)的索引

  核生成实例：
为了简便计算：${\Psi }_{i,j}$在实例中取input feature map上$(i,j)$这个点的特征向量。核生成函数则取了两个线性变换构成的bottleneck结构
$${\mathcal{H}}_{i,j}=\varphi (X_{{\Psi }_{i,j}})=W_1\sigma (W_0{X}_{i,j})\text{\hspace{1em}(4)}$$
$W_0\in {\mathbb{R}}^{\frac{C}{r}\times C}$，$W_1\in {\mathbb{R}}^{K\times K\times G\times \frac{C}{r}}$，$\sigma =ReLU(BN(\cdot ))$

示意图如下图所示：

Fig.1 involution核生成函数实例示意图

在示意图中分组$G=1$，${\mathcal{H}}_{i,j}\in {\mathbb{R}}^{K\times K}$，对于(i, j)，它的输入(i, j)对应点的input feature map的特征向量($1\times 1\times C$)，经过线性变换$W_0$，将$C$维的向量压缩到$\frac{C}{r}$(还是为了节省参数空间),然后经过非线性激活函数$\sigma$，最后进行线性变换$W_1$，此时输出的维度维 $1\times 1\times K^{2}G$,然后进行通道-空间的reshape操作( $1\times 1\times K^{2}G\to K\times K\times G$)得到核${\mathcal{H}}_{i,j}$，同一个组内共用一个核${\mathcal{H}}_{i,j}$。余下的操作核卷积一样(乘加)。下图为Pytorch的伪代码示意图

Fig.2 involution核生成伪代码图

  RedNet：
作者将involution结构整合到ResNet网络中，命名为 RedNet。具体实施方法为在ResNet的bottleneck(分类或者稠密预测任务采用$3\times 3$或$7\times 7$的involution核)和 trunk($7\times 7$的involution核)上$3\times 3$的卷积核替换成involution，而$1\times 1$的卷积核则被保留。
作者在这也提到了involution核有效的原因：在卷积过程中空间和通道信息会紧密结合在一起，这就导致网络可能会产生冗余。而在RedNet中空间和通道间信息交互会被巧妙地解耦，即在involution核生成过程中，像素的通道维度所编码的信息被隐含地分散到它周围的空间附近，之后通过大量的动态的involution核收集感受野中的信息。并且RedNet保留了ResNet中$1\times 1$的卷积，有助于通道间的信息交互。总之，通道-空间交互、空间单独交互和通道单独交互交替而独立地作用于信息传播流中，在保证网络表示能力的同时，也促进了网络结构的小型化。

Involution与self-attention的关系

多头自注意力：
$$Y_{i,j,k}=\sum _{(p,q)\in \Omega }({\mathbf{Q}\mathbf{K}}^T{)}_{i,j,p,q,\lceil kH/C\rceil }{\mathbf{V}}_{p,q,k}\text{\hspace{1em}(5)}$$
其中$(i,j)$为query的位置，$(p,q)$为key的位置，$\mathbf{Q}={\mathbf{X}\mathbf{W}}^Q,\mathbf{K}={\mathbf{X}\mathbf{W}}^K,\mathbf{V}={\mathbf{X}\mathbf{W}}^V$，$\mathbf{X}$和${\mathbf{W}}^{\ast }$分别为输入和*的权重矩阵，$H$指头的数量，类似于卷积过程中通道维度上的卷积核的数量。
具体实施细节可以参考论文：《Attention is All You Need》

self-attention可以看作是Involution的一种特殊的实例。当${\Psi }_{i,j}=\Omega$时：
$${\mathcal{H}}_{i,j}=\varphi (X_{{\Psi }_{\Omega }})=({\mathbf{X}\mathbf{W}}^Q)({\mathbf{X}\mathbf{W}}^K{)}^T\text{\hspace{1em}(6)}$$
结合公式$(2)$，不难才看出self-attention也可以看作是Involution的一种特殊的实例。

相似性：
（1）self-attention中的头的数目$H$<->Involution中的分组数目$G$。
（2）self-attention中的attention map：${\mathbf{Q}\mathbf{K}}^T$<->Involution的核$\mathcal{H}$。
区别：
（1）self-attention需要找像素-像素之间的关系，而Involution不需要。主要原因是作者认为一个大的动态核是网络取得良好性能的关键而不是核具体是通过什么形式生成的(Fig.1中的实例方法中的核只考虑了单个像素而生成的，而公式(6)中的实例方法中的核则是依赖patch中的各个像素关系间的关系生成的)。
（2）self-attention需要位置编码而Involution不需要，因为Involution的核中的参数在生成时就具有固定的空间位置关系(参考Fig.1中左侧部分的核生成的流程)

实验

  图像分类：

Fig.3 RedNet与其他SOTA模型在ImageNet上的性能对比

Fig.4 ImageNet数据集上的效能-准确率曲线

Fig.5 网络的运行时间分析

在运行时间上GPU采用的型号为：NVIDIA TITAN Xp GPU；CPU为：Intel® Xeon® CPU E5-2660 v4@2.00GHz。

  目标检测与实例分割：

Fig.6 COCO数据集上的检测和分割任务的性能对比(S,M,L分别指代小物体，中等物体和大物体)

  语义分割：

Fig.7 基于Semantic FPN的Cityscapes分割性能对比

Fig.8 基于UPerNet.的Cityscapes分割性能对比

在COCO数据集的实验中，可以看到Involution在大物体的AP指标上性能提升最明显；在Cityscapes的分割中，像wall、truck和bus这些大物体，性能也有了明显的提升，说明Involution较Convolution在长距离的空间关系上建模更具有优势。

  消融实验：

Fig.9 参数K, G, r的对性能的影响