论文阅读：CVPR2021 | Involution: Inverting the Inherence of Convolution for Visual Recognition

---

前言

论文链接：https://arxiv.org/abs/2103.06255.

卷积已经成为现代神经网络的核心组成部分，引发了视觉深度学习的浪潮。在这项工作重新思考了视觉任务的标准卷积的内在原理，特别是空间不变性和通道特异性。相反，作者提出了一种新的用于深度神经网络的原子操作，通过颠倒前面提到的卷积设计原则，称为内卷。此外，我们还揭开了最近流行的自我注意运算符的神秘面纱，并将其归入我们的内卷家族，作为一个过于复杂的实例化。本文提出的内卷算子可以作为构建新一代视觉识别神经网络的基础，在几个流行的基准上支持不同的深度学习模型，包括ImageNet分类、CoCo检测和分割，以及Cityscapes分割。该算子可以用来构建新一代视觉识别神经网络，支持几种流行基准的深度学习模型，包括ImageNet分类、CoCo检测和分割以及城市景观分割。我们的对合模型将基于ResNet-50的卷积基线的性能提高了1.6%的TOP-1精度，2.5%和2.4%的包围盒AP，4.7%的平均IOU，同时将计算代价分别压缩到上述基准的66%，65%，72%和57%。

一、Introduction

一方面，虽然空间不变性和空间紧凑性在提高翻译效率和解释翻译等价性方面是有意义的，但它剥夺了卷积核适应不同空间位置不同视觉模式的能力。此外，局部性限制了卷积的接受范围，给单次捕捉远程空间相互作用带来了挑战。
另一方面，众所周知，卷积滤波器内部的通道间冗余在许多成功的深度神经网络中都很突出，使得卷积核对于不同通道的大灵活性受到质疑。
为了克服上述局限性，提出了一种称为内卷运算的运算，与卷积运算相比，该运算具有对称的逆固有特性，即空间特异性和通道不变性。具体地说，内卷核在空间范围上是不同的，但在通道之间是共享的。
通过一种倒置设计方案，提出的内卷具有卷积的双重优势：
(1)对合可以在更广泛的空间排列中总结上下文，从而克服了很好地建模远程交互的困难；
(2)对合可以自适应地在不同位置上分配权重，从而对空间域中信息最丰富的视觉元素进行优先排序。

contribution：
（1）作者重新思考卷积与空间和通道范围有关的内在原理。这一思考促使作者提出使用其他具有辨别能力和表达能力的潜在算子作为视觉识别的替代，突破了卷积现有的归纳偏见；
（2）将把Self-Attention融入视觉表征的学习过程。在此背景下，关系建模中对像素对的组合要求受到了挑战。此外，统一了Self-Attention和卷积；
（3）基于involution构建的模型进行了广泛的实验。

二、Involution

能把这个图理清楚基本算懂了一半。

其中$\varphi$ (FC-BN-ReLU-FC)

上图都是Group=1的情况。当Group大于1的时候$K\times K\times C$就变成$G\times K\times K\times C//G$

三、self-attention的相关性

略过了。。。。

四、Rednet网络搭建

作者在ResNet的主干和主干的所有瓶颈位置上使用Involution替换掉了$3\times 3$ 卷积，但保留了所有的$1\times 1$卷积用于通道映射和融合。这些精心重新设计的实体联合起来，形成了一种新的高效Backbone网络，称为RedNet。

总结

打扰了 看完这篇文章我是懵逼的，我是谁，我在哪，我为什么要看这篇文章。个人感觉是不是这个操作更加关注频谱上的信息。无论是分组卷积还是ResNext中的split，都是为了获取更多样的频谱信息。现在Involution把频谱或者说是通道上的信息提取融入到了神经网络的原子操作上。