YOLOv10改进 | 注意力篇 | YOLOv10引入SKNets

1. SKNets介绍

1.1  摘要：在标准卷积神经网络（CNN）中，每层人工神经元的感受野被设计为共享相同的大小。 神经科学界众所周知，视觉皮层神经元的感受野大小是由刺激调节的，但在构建 CNN 时很少考虑这一点。 我们在 CNN 中提出了一种动态选择机制，允许每个神经元根据输入信息的多个尺度自适应地调整其感受野大小。 设计了一个称为选择性内核（SK）单元的构建块，其中使用由这些分支中的信息引导的 softmax 注意力来融合具有不同内核大小的多个分支。 对这些分支的不同关注会产生融合层神经元有效感受野的不同大小。 多个 SK 单元堆叠成一个称为选择性内核网络 (SKNet) 的深度网络。 在 ImageNet 和 CIFAR 基准上，我们凭经验证明 SKNet 的性能优于现有最先进的架构，且模型复杂度较低。 详细分析表明，SKNet中的神经元可以捕获不同尺度的目标物体，验证了神经元根据输入自适应调整其感受野大小的能力。

官方论文地址：https://arxiv.org/pdf/1903.06586

官方代码地址：https://github.com/implus/SKNet

1.2