目录
一、理论部分
在每个卷积层中学习单个静态卷积核1是现代卷积神经网络(cnn)的常见训练范式。
相反,最近的动态卷积研究表明,学习n个卷积核的线性组合,并对其输入依赖的关注进行加权,可以显著提高轻量级cnn的精度,同时保持有效的推理。然而,我们观察到,现有的工作通过核空间的一个维度(关于卷积核数)赋予卷积核以动态特性,而忽略了其他三个维度(关于每个卷积核的空间大小、输入通道数和输出通道数)。受此启发,我们提出了全维动态卷积(ODConv),这是一种更广义但更优雅的动态卷积设计,以推进这一研究方向。ODConv利用一种新颖的多维注意机制和并行策略,在任何卷积层沿核空间的所有四个维度学习卷积核的互补注意。作为常规卷积的临时替代品,ODConv可以插入到许多CNN架构中。
在ImageNet和MS-COCO数据集上的大量实验表明,ODConv为各种主流CNN主干(包括轻量级和大型主干)带来了坚实的精度提升,例如,在ImageNet数据集上,对mobilenetv2 |ResNet家族的绝对顶级1提高了3.77% ~ 5.71%|1.86% ~ 3.7