YOLOv11改进 - C3k2融合 | C3k2模块融合RetBlock保持块（Retention Block）实现高效局部细节增强与多尺度目标检测性能提升

前言

本文介绍了将具有显式空间先验的视觉骨干网络RMT相关技术集成到YOLOv11的方法。RMT受Retentive Network (RetNet)启发，将时间衰减机制扩展到空间领域，提出空间衰减矩阵和适配的注意力分解形式，以线性复杂度集成显式空间先验。我们将核心代码中的RetBlock等模块引入YOLOv11，在tasks.py中注册并配置yaml文件。实验表明，RMT在各种视觉任务表现出色，在ImageNet - 1k、COCO检测、ADE20K语义分割等任务中取得良好成绩。

文章目录： YOLOv11改进大全：卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

专栏链接: YOLOv11改进专栏

介绍

摘要

近年来，Vision Transformer (ViT) 在计算机视觉领域受到了越来越多的关注。然而，ViT 的核心组件——自注意力（Self - Attention）缺乏显式的空间先验，且其计算复杂度呈二次方，这限制了 ViT 的应用范围。为解决这些问题，我们从自然语言处理（NLP）领域近期提出的 Retentive Network (RetNet) 获得启发，提出一种具有显式空间先验的通用型强大视觉骨干网络 RMT。具体而言，我们将 RetNet 的时间衰减机制拓展至空间领域，并基于曼哈顿距离提出一种空间衰减矩阵，用于为自注意力引入显式的空间先验。此外，我们还提出一种适配显式空间先验的注意力分解形式，旨在减轻建模全局信息的计算负担，同时不破坏空间衰减矩阵的结构。基于空间衰减矩阵和注意力分解形式，我们能够以线性复杂度将显式空间先验灵活集成到视觉骨干网络中。大量实验表明，RMT 在各类视觉任务中表现优异。具体来说，在无额外训练数据的情况下，RMT 在 ImageNet - 1k 数据集上分别以 27M 参数/4.5GFLOPs 和 96M 参数/18.2GFLOPs 实现了 84.8% 和 86.1% 的 Top - 1 准确率。在下游任务中，RMT 在 COCO 检测任务上取得了 54.5 的 box AP 和 47.2 的 mask AP，在 ADE20K 语义分割任务上取得了