YOLOv5改进之CODConv,全维动态卷积再改进

目录

一、理论部分

网络结构

二、CODConv

代码

 应用到YOLOv5中

---

一、理论部分

 

在每个卷积层中学习单个静态卷积核1是现代卷积神经网络(cnn)的常见训练范式。

相反，最近的动态卷积研究表明，学习n个卷积核的线性组合，并对其输入依赖的关注进行加权，可以显著提高轻量级cnn的精度，同时保持有效的推理。然而，我们观察到，现有的工作通过核空间的一个维度(关于卷积核数)赋予卷积核以动态特性，而忽略了其他三个维度(关于每个卷积核的空间大小、输入通道数和输出通道数)。受此启发，我们提出了全维动态卷积(ODConv)，这是一种更广义但更优雅的动态卷积设计，以推进这一研究方向。ODConv利用一种新颖的多维注意机制和并行策略，在任何卷积层沿核空间的所有四个维度学习卷积核的互补注意。作为常规卷积的临时替代品，ODConv可以插入到许多CNN架构中。

在ImageNet和MS-COCO数据集上的大量实验表明，ODConv为各种主流CNN主干(包括轻量级和大型主干)带来了坚实的精度提升，例如，在ImageNet数据集上，对mobilenetv2 |ResNet家族的绝对顶级1提高了3.77% ~ 5.71%|1.86% ~ 3.7