【YOLOv8改进】CoordAttention： 用于移动端的高效坐标注意力机制

YOLOv8目标检测创新改进与实战案例专栏

专栏目录： YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLOv8基础解析+创新改进+实战案例

介绍

摘要

近期的移动网络设计研究显示，通道注意力（例如，压缩-激励注意力）在提升模型性能方面具有显著效果，但它们通常忽略了位置信息，而这对于生成空间选择性的注意力图是非常重要的。在本文中，我们通过将位置信息嵌入到通道注意力中，提出了一种用于移动网络的新型注意力机制，我们称之为“坐标注意力”。与通过2D全局池化将特征张量转换为单个特征向量的通道注意力不同，坐标注意力将通道注意力分解为沿两个空间方向分别聚合特征的两个1D特征编码过程。通过这种方式，可以沿一个空间方向捕获长距离依赖，同时沿另一个空间方向保留精确的位置信息。然后，所得到的特征图被分别编码为一对方向感知和位置敏感的注意力图，这两种图可以互补地应用于输入特征图，以增强感兴趣对象的表示。我们的坐标注意力简单且可以灵活地嵌入到经典的移动网络中，如MobileNetV2、MobileNeXt和EfficientNet，几乎不增加计算开销。广泛的实验表明，我们的坐标注意力不仅对ImageNet分类有益，更有趣的是，在下游任务中，如目标检测和语义分割，表现得更好。

创新点

1. 将位置信息嵌入到通道注意力中，提升了移动网络设计的性能。
2. 通过两个1D特征编码过程聚合沿着两个空间方向的特征，捕获长距离依赖性，并保留精确的位置信息。
3. 生成方向感知和位置敏感的注意力图，可以应用于输入特征图，增强感兴趣对象的表示。
4. 简单易用，几乎不增加计算开销，并且可以灵活地插入经典的移动网络结构。
5. 在ImageNet分类以及目标检测和语义分割等下游任务中表现出更好的性能。

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

Coordinate Attention 机制

Coordinate Attention机制可视为一种增强移动网络特征表达能力的计算单元，它接收中间层特征作为输入，并输出增强后大小不变的特征。

Coordinate Attention 模块

Coordinate Attention通过两个关键步骤实现通道关系和长距离关系的编码：坐标信息嵌入（Coordinate Information Embedding）和坐标注意力生成（Coordinate Attention Generation）。

• 坐标信息嵌入

传统的通道注意力通过全局池化来编码全局空间信息，这种方法将全局信息压缩成标量，容易丢失重要的空间细节。为了解决这个问题࿰