【YOLOv8改进 - 注意力机制】Sea_Attention: Squeeze-enhanced Axial Attention,结合全局语义提取和局部细节增强

YOLOv8目标检测创新改进与实战案例专栏

专栏目录： YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLOv8基础解析+创新改进+实战案例

介绍

摘要

自从引入视觉变换器（Vision Transformers）以来，许多计算机视觉任务（如语义分割）的格局发生了显著的变革，这些任务曾经被CNN压倒性地主导。然而，计算成本和内存需求使得这些方法在移动设备上，尤其是在高分辨率逐像素语义分割任务中显得不适用。在本文中，我们介绍了一种新的方法——压缩增强轴向变换器（SeaFormer）用于移动端语义分割。具体来说，我们设计了一个通用的注意力模块，其特点是压缩轴向和细节增强的结合。它可以进一步用于创建一系列具有优越性价比的骨干架构。结合一个轻量级的分割头，我们在ADE20K和Cityscapes数据集上的ARM架构移动设备上实现了分割精度和延迟之间的最佳平衡。关键是，我们在没有任何花哨技巧的情况下，以更好的性能和更低的延迟击败了移动友好型的竞争对手和基于变换器的对手。除了语义分割之外，我们还将提出的SeaFormer架构应用于图像分类问题，展示了其作为通用移动友好型骨干的潜力。我们的代码和模型已在https://github.com/fudan-zvg/SeaFormer公开发布。

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

在文章中提出了一种名为"Squeeze-enhanced Axial Attention"的注意力模块，结合了全局语义提取和局部细节增强，旨在提高计算效率并同时聚合全局信息。以下是Squeeze-enhanced Axial Attention的技术原理：

1. 全局语义提取：

   • 首先，从输入特征图 x