【YOLOv8改进】Non-Local：基于非局部均值去噪滤波的自注意力模型 (论文笔记+引入代码)

YOLO目标检测创新改进与实战案例专栏

专栏目录： YOLO有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLO基础解析+创新改进+实战案例

介绍

摘要

卷积和循环神经网络中的操作都是一次处理一个局部邻域，在这篇文章中，作者提出了一个非局部的操作来作为捕获远程依赖的通用模块。
受计算机视觉中经典的非局部均值方法启发，我们的非局部操作计算某一位置的响应为所有位置特征的加权和。而且，这个模块可以插入到许多计算机视觉网络架构中去。

创新点

• 提出的non-local operations通过计算任意两个位置之间的交互直接捕捉远程依赖，而不用局限于相邻点，其相当于构造了一个和特征图谱尺寸一样大的卷积核, 从而可以维持更多信息。
• non-local可以作为一个组件，和其它网络结构结合，经过作者实验，证明了其可以应用于图像分类、目标检测、目标分割、姿态识别等视觉任务中，并且效果不错。
• Non-local在视频分类上效果很好，倾向于使用在视频分类这个领域中。

文章链接

论文地址：论文地址

代码地址：代码地址

参考代码：代码地址

参考代码：代码地址

基本原理

---

1. Non-local自注意力模型

Non-Local是由王小龙等人在2018年的计算机视觉与模式识别会议（CVPR 2018）提出的一种自注意力模型。该模型的灵感来源于非局部均值去噪滤波（Non-Local Means），它不同于传统的基于小区域（如3×3卷积核）的滤波方法。Non-Local操作通过在更大的搜索范围内进行加权，从而捕捉更广泛的上下文信息。更多细节可以参考这篇博客。

在Non-Local神经网络（NN）中，'Local’指的是与卷积神经网络中的感受野相关的概念。传统卷积层的感受野通常有限（如3×3或5×5），而Non-Local模块允许感受野覆盖整个输入空间，从而实现全局信息的整合。

Non-Local模块与其他注意力机制模块（如CBAM、SE、BAM、SK）相似，都是可插拔的组件，用于对特征图进行信息细化（refinement）。它是一种有效的注意力机制实现，不过其理论基础更为丰富，可能会相对复杂和难以理解。

Non-local的通用公式：

• x