【论文解读】Split to Be Slim: An Overlooked Redundancy in Vanilla Convolution（SPConv）

摘要

为了减少推理加速模型的冗余，已经提出了许多有效的解决方案。然而，常见的方法大多侧重于消除不太重要的过滤器或构造高效的操作，而忽略了特征映射中的模式冗余。我们揭示了一个层中的许多特征映射共享相似但不相同的模式。然而，很难识别具有相似模式的特征是多余的还是包含必要的细节。因此，我们不是直接去除不确定的冗余特征，而是提出了一种基于分裂的卷积操作，即SPConv，以容忍具有相似模式但需要较少计算的特征。具体而言，我们将输入特征映射分为代表性部分和不确定冗余部分，通过相对繁重的计算从代表性部分提取固有信息，而不确定冗余部分中的微小隐藏细节则通过一些轻量级的操作进行处理。为了重新校准和融合这两组处理后的特征，我们提出了一个无参数特征融合模块。此外，我们的SPConv被制定为以即插即用的方式取代普通的卷积。没有任何花哨的东西，在基准测试上的实验结果表明，配备spconvn的网络在GPU上的准确性和推理时间方面始终优于最先进的基线，flop和参数急剧下降。

引言

FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。
FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。

近年来，深度神经网络取得了显著的成功。然而，这种快速增长的精度是以日益复杂的模型为代价的，这些模型包含数百万个参数和数十亿个FLOPs

在ResNet-50中，输入图像的可视化(左上)和一些第二阶段的输入特征图。他们中的许多人表现出很大的模式相似性。因此，可以选择一些具有代表性的特征映射来补充内在信息，而剩余的冗余只需要补充微小的不同细节。

在本文中，我们提出了一种新颖的SPConv模块来减少普通卷积中的冗余。具体来说，我们将所有输入通道分成两部分:一部分用于代表性，另一部分用于冗余。固有信息可以通过正态k × k核从代表性部分提取出来。此外，隐藏的微小差异可以通过廉价的1×1内核从冗余部分收集。然后，我们将这两类提取的信息进行相应的融合，以确保在无参数的情况下不丢失任何细节。此外，我们以通用的方式设计SPConv，并使其成为普通卷积的即插即用替代品&#