CVPR 2021 Involution: Inverting the Inherence of Convolution for Visual Recognition

动机

卷积操作具有两个显著特性，即spatial-agnostic和channel-specific。

1. spatial-agnostic：图像所有位置都使用同一个卷积核，实现了平移不变性。但它剥夺了卷积核在不同空间位置采用不同视觉模式的能力，从而限制了卷积核提取特征的的能力。此外，它还限制了卷积的感受野，对识别小目标或者模糊图像构成了挑战。

2. channel-specific：每个channel都提取不同类型的特征，产生了数据冗余。这使得卷积核对于不同通道的灵活性受到限制。

方法

提出了Involution卷积（如上图所示），可构建用于构建新型的神经网络架构。提出的Involution结构与普通卷积完全相反。具有Spatial-Specific和Channel-Agnostic两个对称反向特性。具体地说，Involution核在空间范围上是不同的，但在通道上是共享的。由于Involution核的空间特性，如果将其参数化为Involution核等固定大小的矩阵，并使用反向传播算法进行更新，则会阻碍学习到的对Involution核在不同分辨率的输入图像之间的传输。在处理可变特征分辨率的最后，属于特定空间位置的Involution核可能仅在对应位置本身的传入特征向量的条件下作为实例生