YOLOv5改进之Coordinate Attention

一、Coordinate Attention理论

最近关于移动网络设计的研究已经证明了通道注意(例如，挤压和激励注意)对于提高模型性能的显着有效性，但它们通常忽略了位置信息，而位置信息对于生成空间选择性注意图非常重要。在本文中，我们提出了一种新的移动网络注意机制，将位置信息嵌入到通道注意中，我们称之为“坐标注意”。与通过二维全局池化将特征张量转换为单个特征向量的通道注意不同，坐标注意将通道注意分解为两个一维特征编码过程，分别沿着两个空间方向聚合特征。这样可以在一个空间方向上捕获远程依赖关系，同时在另一个空间方向上保持精确的位置信息。然后将得到的特征图分别编码为一对方向感知和位置敏感的注意图，它们可以互补地应用于输入特征图，以增强感兴趣对象的表示。我们的坐标关注很简单，可以灵活地插入经典的移动网络，如MobileNetV2、MobileNeXt和EfficientNet，几乎没有计算开销。大量的实验表明，我们的坐标关注不仅有利于ImageNet分类，更有趣的是，在下游任务，如目标检测和语义分割中表现更好。

相关工作

目前最先进的移动网络大多基于深度可分离卷积[16]和倒立残差块[34]。HBONet[20]在每个倒残差块内部引入了下采样操作，用于对代表性空间信息建模。

ShuffleNetV2[27]在倒转剩余块前后分别使用一个通道拆分模块和一个通道shuffle模块。随后，MobileNetV3[15]结合神经架构搜索算法[50]，在不同深度搜索最优激活函数和倒排残块的扩展比。此外，MixNet[39]、EfficientNet[38]和ProxylessNAS[2]也采用不同的搜索策略，搜索深度可分离卷积的最优核大小，或从扩展比、输入分辨率、网络深度和宽度等方面控制网络权值的标量。最近，Zhou等人重新思考了利用深度可分离卷积的方式࿰