【YOLOv8改进 - 注意力机制】SKAttention：聚合分支信息，实现自适应调整感受野大小

YOLO目标检测创新改进与实战案例专栏

专栏目录： YOLO有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLO基础解析+创新改进+实战案例

介绍

摘要

在标准卷积神经网络（CNNs）中，每一层的人工神经元的感受野大小被设计为相同。然而，神经科学界已知视觉皮层神经元的感受野大小会受到刺激的调节，这一点在构建CNN时很少被考虑。我们提出了一种动态选择机制，使每个神经元能够基于多尺度的输入信息自适应地调整其感受野大小。我们设计了一个称为选择性卷积（Selective Kernel，SK）单元的构建块，在该单元中，具有不同卷积核大小的多个分支通过受这些分支信息引导的softmax注意力融合。在融合层中，这些分支上的不同注意力产生了神经元的不同有效感受野大小。多个SK单元被堆叠形成一个称为选择性卷积网络（SKNets）的深层网络。在ImageNet和CIFAR基准测试中，我们实验证明SKNet在模型复杂度较低的情况下优于现有的最先进架构。详细分析显示，SKNet中的神经元能够捕捉不同尺度的目标对象，这验证了神经元根据输入自适应调整其感受野大小的能力。代码和模型可在https://github.com/implus/SKNet获取。

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

概述

SKAttention是一种用于深度学习中的注意力机制，特别是在卷积神经网络（CNN）中。它通过动态选择不同大小的卷积核来提高网络对多尺度特征的捕捉能力。SKAttention的设计灵感来源于视觉皮层神经元，这些神经元能够根据刺激自适应地调整其感受野大小。在CNN中实现这种机制可以帮助网络更好地捕捉复杂图像空间的多尺度特征，同时减少计算资源的浪费。

SKAttention的核心是“选择性核（Selective Kernel）”单元，它允许多个具有不同内核大小的分支在信息指导下使用SoftMax进行融合。这些分支中的每个卷积核都会对输入图像进行处理，产生不同尺寸的特征图。然后，通过融合操作将这些不同尺寸的特征图结合起来，生成用于选择权重的全局和综合表示。最后，根据这些权重对不同大小内核的特征图进行聚合，从而得到最终的输出特征。

SKAttention的主要优势在于它可以更有效地捕捉图像空间的多尺度特征，提高模型在处理不同尺度目标时的性能。此外，SKAttention还可以聚合深度特征，使模型更容易理解，同时也允许更好的可解释性。

SKAttention模块可以灵活地集成到各种深度学习模型中，特别是在目标检测领域，如YOLOv5和YOLOv7等模型，已经成功地集成了SKAttention来提升检测效果。在集成时，SKAttention可以作为即插即用的注意力模块添加到网络的任何合适位置。

SKAttention的实现涉及到多个卷积层、全连接层和softmax激活函数。在模型训练过程中，通过反向传播和梯度下降方法不断更新网络参数，优化模型性能。

选择性内核（SK）