【YOLOv8改进 - 注意力机制】S2Attention : 整合空间位移和分割注意力

YOLOv8目标检测创新改进与实战案例专栏

专栏目录： YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLOv8基础解析+创新改进+实战案例

介绍

摘要

最近，基于MLP的视觉骨干网络开始出现。与CNN和视觉Transformer相比，具有较少归纳偏差的MLP架构在图像识别中表现出竞争力。其中，采用直接空间移位操作的空间移位MLP（S2-MLP）比包括MLP-mixer和ResMLP在内的早期工作取得了更好的性能。最近，使用较小的补丁和金字塔结构，Vision Permutator（ViP）和Global Filter Network（GFNet）在性能上超过了S2-MLP。本文中，我们改进了S2-MLP视觉骨干网络。我们在通道维度上扩展特征图，并将扩展后的特征图分成若干部分，对分割部分进行不同的空间移位操作。同时，我们利用分割注意力操作融合这些分割部分。此外，类似于其他方法，我们采用了较小尺度的补丁并使用金字塔结构来提升图像识别的准确性。我们将改进后的空间移位MLP视觉骨干网络称为S2-MLPv2。使用55M参数，我们的中型模型S2-MLPv2-Medium在ImageNet-1K基准测试中使用224 × 224的图像，在没有自注意力和外部训练数据的情况下实现了83.6%的top-1准确率。

文章链接

论文地址：论文地址

**代码地址：**代码地址

基本原理

分割注意力模块概述

分割注意力（Split Attention）模块旨在融合来自不同操作的多个特征图。这个模块在ResNeSt网络中首次提出，并被Vision Permutator等模型采用，用于增强特征图的表现能力。

具体实现步骤

1. 特征图的平均计算：

   • 假设有 k k