目录
一、原理
在每个卷积层中学习单个静态卷积核1是现代卷积神经网络(cnn)的常见训练范式。
相反,最近的动态卷积研究表明,学习n个卷积核的线性组合,并对其输入依赖的关注进行加权,可以显著提高轻量级cnn的精度,同时保持有效的推理。然而,我们观察到,现有的工作通过核空间的一个维度(关于卷积核数)赋予卷积核以动态特性,而忽略了其他三个维度(关于每个卷积核的空间大小、输入通道数和输出通道数)。受此启发,我们提出了全维动态卷积(ODConv),这是一种更广义但更优雅的动态卷积设计,以推进这一研究方向。ODConv利用一种新颖的多维注意机制和并行策略,在任何卷积层沿核空间的所有四个维度学习卷积核的互补注意。作为常规卷积的临时替代品,ODConv可以插入到许多CNN架构中。
在I