即插即用篇 | 全维动态卷积 |《 OMNI-DIMENSIONAL DYNAMIC CONVOLUTION》

单个静态卷积核是现代卷积神经网络（CNNs）的常见训练范式。然而，最近的动态卷积研究表明，学习加权为其输入依赖注意力的n个卷积核的线性组合可以显著提高轻量级CNNs的准确性，同时保持高效的推理。然而，我们观察到现有的作品通过卷积核空间的一个维度（关于卷积核数量）赋予卷积核动态属性，但是另外三个维度（关于每个卷积核的空间尺寸，输入通道数量和输出通道数量）被忽视了。受此启发，我们提出全维动态卷积（ODConv），这是一种更加通用但优雅的动态卷积设计，以推进这一研究领域。ODConv利用一种新的多维注意力机制和并行策略，以学习沿着卷积核空间的所有四个维度的卷积核的互补注意力。作为常规卷积的替代品，ODConv可以插入到许多CNN体系结构中。在ImageNet和MS-COCO数据集上的大量实验证明，ODConv为各种流行的CNN骨干结构带来了可靠的准确性提升，包括轻量级和大型结构，例如，在ImageNet数据集上，对于MobivleNetV2 | ResNet家族，绝对top-1改进为3.77%∼5.71% | 1.86%∼3.72%。有趣的是，由于其改进的特征学习能力，即使只有一个单独的卷积核，ODConv也可以与具有多个卷积核的现有动态卷积对手竞争或超越其性能，从而大大减少额外的参数。此外，ODConv也优于其他调制输出特征或卷积权重的注意力模块。

论文地址：https://openreview.net/pdf?id=DmpCfq6Mg39