魔改工程师的博客

YOLOv11改进大全：卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

本文提出了卷积模拟自注意力网络（ESC），并将其与YOLO11相结合。ESC是针对图像超分辨率任务设计的轻量化网络，核心为ConvAttn模块，通过共享大核与动态核模拟自注意力的长程建模和实例依赖加权。同时，首次将Flash Attention集成到轻量化超分辨率领域，扩大自注意力窗口尺寸，降低延迟和内存占用。我们将C3k2_ESC模块集成进YOLO11，在相关数据集上进行实验，结果表明，该结合方式在保持Transformer优势的同时，提升了PSNR，降低了计算延迟和内存占用

本文给大家介绍使用三角掩码卷积（TMC）改进 YOLO11 网络模型，通过在卷积核上施加上三角掩码构建菱形盲点区域，精准匹配真实 sRGB 图像中 ISP 链路产生的空间相关噪声分布。其核心作用是无需下采样即可有效剔除存在噪声关联的像素，完整利用无相关性的上下文信息，保留纹理和结构细节。相比传统盲点网络或普通卷积，TMC 能增强 YOLO11 对真实相机噪声的建模能力，提升模型在复杂噪声环境下的特征鲁棒性与检测精度，减少噪声干扰带来的误检。

本文介绍了面向暗弱小型红外舰船检测的中国结卷积——CKConv，并将其与 YOLO11 的特征提取结构相结合。CKConv 通过横向条形卷积、纵向条形卷积与普通方形卷积构建多分支交织感受野，能够同时捕捉舰船目标的方向延展特征、边缘纹理信息和局部空间连续性，有效弥补传统卷积对细长小目标表征不足的问题。在 YOLO11 中，可将 CKConv 融入 C2f/C3k 等骨干特征模块，替代部分标准卷积以增强底层与深层特征表达能力。该方法在保持较低计算开销的同时提升网络对复杂海面背景、弱对比度目标和多尺度舰船的适应性

本文介绍了方向引导边缘门控卷积（DEGConv），一种专为增强边缘敏感度与方向感知能力设计的轻量级模块。该方法通过 Sobel 算子生成方向嵌入，结合条纹卷积提取水平与垂直边缘特征，并利用门控机制动态抑制背景噪声，从而精准捕捉细粒度结构。我们将 DEGConv 成功集成进 YOLO11，在 Backbone 的 SPPF 后及 Neck 的 P3、P4 分支中引入该模块以优化特征提取。实验证明，集成 DEGConv 的 YOLO11 在检测任务中表现优异，有效提升了模型对复杂边缘与方向特征的建模能力。

本文提出基于小波的方向性注意力模块(WDAM)，用于抑制频闪伪影。WDAM通过Haar小波变换分离高低频特征，利用高频方向信息引导低频修复，并结合窗口注意力降低计算成本。该模块被集成到YOLO11的Backbone中，替代原有C2PSA模块。实验表明，结合WDAM的YOLO11能有效提升方向性特征捕捉能力，在检测任务中表现优异。WDAM的核心包括小波分解、方向权重生成和窗口注意力机制，通过频闪区域定位实现精准抑制。

本文介绍了高频增强小波层（HEWL），一种专为解决红外小目标检测中边缘退化与语义模糊问题设计的上采样模块。该方法结合小波逆变换与交替通道注意力（ALCA），通过显式增强高频细节并优化特征融合，实现精准的边缘重建与语义对齐。我们将 HEWL 融入 PSABlock 结构构建了 C2PSA_HEWL 模块，并成功集成进 YOLO11 的骨干网络，替代原有的 C2PSA 模块。实验证明，结合 HEWL 的 YOLO11 在检测任务中表现优异，有效提升了模型对细节特征的捕捉能力。

本文介绍了将序列洗牌注意力（SSA）模块与YOLO11结合的方法。SSA是面向多向扫描Mamba架构的通道级融合注意力机制，用于解决多向序列建模中的通道异构与信息不对齐问题。它先将不同扫描方向的特征序列在通道维度拼接，进行通道洗牌实现跨方向对齐，再采用压缩 - 激励范式生成自适应权重进行通道加权，最后恢复原始通道布局输出。该机制计算轻量、结构适配、即插即用。我们将SSA的实现模块ShuffleAttn集成进YOLO11，在检测头部分使用。实验证明，结合SSA的YOLO11在图像检测任务中表现良好。

本文介绍了将多尺度注意力聚合（MSAA）模块与YOLO11结合的方法。MSAA是CM - UNet中用于优化编码器特征、强化跳跃连接的核心模块，能解决遥感图像物体尺度差异大、多尺度特征融合弱的问题。它采用空间与通道双分支并行处理，先对输入的相邻三层特征进行拼接，再分别进行空间与通道注意力处理，最后融合输出精炼后的特征。我们将MSAA集成进YOLO11，在模型的检测头部分使用该模块。实验证明，结合MSAA的YOLO11可有效捕获多尺度全局上下文信息，在物体检测任务中表现良好。

本文介绍了将多频率通道注意力（MFCA）与YOLO11结合的方法。MFCA是专为医学图像分割设计的频率域通道注意力机制，基于二维离散余弦变换（2D DCT）提取医学图像的频率统计特征，通过对不同频率通道的特征重标定，抑制噪声通道干扰、强化有效频率特征表达。该机制具有模态鲁棒性、噪声抑制能力、轻量级设计等特性，与多尺度空间注意力（MSSA）强互补。我们将MFCA集成进YOLO11，在检测头部分嵌入该模块。实验证明，结合MFCA的YOLO11在实验中表现出色，提升了模型的特征提取能力和分割性能。

本文介绍了MobileMamba Block，其设计核心是在轻量前提下融合全局、多尺度局部特征并保留高频细节，兼顾推理效率。它是模型的核心功能单元，采用“对称局部感知 + MRFFI 核心模块 + FFN 增强”架构。MRFFI 模块是关键，将输入特征按通道拆分为三部分处理：WTE - Mamba 提取全局和高频细节，MK - DeConv 实现多尺度局部感知，Eliminate Redundant Identity 压缩冗余。我们将其引入 YOLOv11，在根目录下添加相关代码文件，并在`ultralyt

本文介绍Mamba YOLO，为图片物体识别提供了“又快又准”的新方案。传统CNN架构运行快但难以捕捉远距离关联物体，Transformer架构精度高但计算量呈平方级增长，而SSM虽计算量为线性级且能抓全局关联，但用于图片识别时细节定位不准。为此，Mamba YOLO做了三项关键优化：引入ODMamba骨干网络，解决自注意力的二次复杂度问题，且无需预训练；设计ODMamba宏观结构确定最佳阶段比例和缩放大小；采用多分支结构的RG块建模通道维度，解决SSM在序列建模中的不足。在COCO数据集测试中，其小版本推

本文介绍了Shape-IoU方法，用于改进YOLOv11的边框回归损失。现有边框回归方法常忽略边框自身形状与尺度对回归的影响，为此，作者先对边框回归特性分析，发现非正方形GT框中，边框形状与尺度差异会使IoU值显著不同，小尺度边框对GT框形状更敏感。基于此提出Shape-IoU损失函数，还针对小目标检测提出相关损失函数。我们将Shape-IoU代码加入`ultralytics\utils\metrics.py`，在`ultralytics/utils/loss.py`中导入并修改相关函数，最后给出验证脚本和

本文介绍了基于尺度的动态损失（SD Loss）在YOLOv11中的结合。现有基于CNN的红外小目标检测方法忽略像素分布空间特性，且现有损失函数未考虑不同尺度目标对损失的敏感度差异。SD Loss包含边界框专用的SDB Loss和掩码专用的SDM Loss，能根据目标尺度动态调整尺度与位置损失的权重。我们将相关代码加入`ultralytics\utils\metrics.py`，在`ultralytics/utils/loss.py`中导入并修改函数，最后通过验证脚本和结果证明了方法的有效性。

本文介绍了内容感知Token聚合网络（CATANet）中的局部区域自注意力（LRSA）模块在YOLOv11中的结合。基于Transformer的图像超分辨率方法存在计算复杂度高、捕捉长距离依赖能力受限等问题。LRSA作为CATANet的核心辅助模块，通过重叠补丁策略强化局部特征交互，补充局部细节。我们将相关代码加入指定目录，在`ultralytics/nn/tasks.py`中注册，配置`yolov11 - LRSA.yaml`文件，最后通过实验脚本和结果验证了方法的有效性。

本文介绍了MambaIRv2，它赋予Mamba非因果建模能力以实现注意力状态空间恢复模型。Mamba架构在图像恢复中存在因果建模局限，MambaIRv2提出注意力状态空间方程，还引入语义引导的邻域机制。实验表明，在轻量级和经典超分辨率任务中，MambaIRv2比其他模型有更好的峰值信噪比表现。我们将其核心组件Attentive State Space Group（ASSG）引入YOLOv11，该组件整合局部与全局特征建模，通过多个基础功能块实现特征层级建模。

本文介绍了将Mamba架构与U型网络结合的Mamba - UNet，用于医学图像分割。传统CNN和ViT在建模医学图像长距离依赖关系上存在局限，而Mamba - UNet受Mamba架构启发，采用基于纯视觉曼巴（VMamba）的编解码器结构并融入跳跃连接，还引入新颖集成机制，促进全面特征学习。VSS Block是Mamba - UNet的核心功能模块，通过两条路径并行处理和融合图像特征，且无“位置编码”和“MLP层”，更省资源、精度更高。 将其引入YOLOv11，与C3k2进行融合

本文介绍Mamba YOLO，为图片物体识别提供了“又快又准”的新方案。传统CNN架构运行快但难以捕捉远距离关联物体，Transformer架构精度高但计算量呈平方级增长，而SSM虽计算量为线性级且能抓全局关联，但用于图片识别时细节定位不准。为此，Mamba YOLO做了三项关键优化：引入ODMamba骨干网络，解决自注意力的二次复杂度问题，且无需预训练；设计ODMamba宏观结构确定最佳阶段比例和缩放大小；采用多分支结构的RG块建模通道维度，解决SSM在序列建模中的不足。在COCO数据集测试中，其小版本推

本文介绍Mamba YOLO，为图片物体识别提供了“又快又准”的新方案。传统CNN架构运行快但难以捕捉远距离关联物体，Transformer架构精度高但计算量呈平方级增长，而SSM虽计算量为线性级且能抓全局关联，但用于图片识别时细节定位不准。为此，Mamba YOLO做了三项关键优化：引入ODMamba骨干网络，解决自注意力的二次复杂度问题，且无需预训练；设计ODMamba宏观结构确定最佳阶段比例和缩放大小；采用多分支结构的RG块建模通道维度，解决SSM在序列建模中的不足。在COCO数据集测试中，其小版本推

本文提出部分注意力卷积（PATConv）机制，并将其集成到YOLOv11中。传统神经网络中，卷积计算密集，注意力机制全局计算冗余，此前的“部分卷积”会丢失未计算通道的特征价值。PATConv通过“通道拆分 - 并行处理 - 结果拼接”的逻辑，给不同通道分配“擅长的任务”，兼顾局部与全局特征。基于此，它还衍生出PAT_ch、PAT_sp和PAT_sf三种细分模块。此外，还提出了动态部分卷积（DPConv），并构建了新的混合网络家族PartialNet。我们将PATConv代码集成到YOLOv11中，实验表明，

本文介绍了Token Statistics Self-Attention（TSSA）机制，并将其集成到YOLOv11中。传统自注意力计算复杂度高，TSSA进行了范式转变，基于token统计特征实现高效注意力交互。它通过“算法展开”推导得出，以“最大编码率降低”为目标，实现特征学习。TSSA包含动态分组和低秩投影优化两步创新，具备线性复杂度。我们将TSSA代码集成到YOLOv11的C2PSA模块中。实验表明，改进后的YOLOv11在目标检测任务中表现良好，验证了TSSA机制的有效性。

本文提出信息整合注意力（IIA）机制，并将其集成到YOLOv11中用于遥感图像语义分割。传统CNN和Transformer方法分别存在难以捕捉全局信息和计算复杂的问题，现有基于Mamba的方法也未充分考虑局部信息。IIA机制利用图像特征空间位置不变性，通过基础信息融合、双方向序列提取和动态权重调制三个核心步骤，以及通道级拼接、双方向拆分与池化、轻量级1D卷积和残差融合四个关键操作，实现了轻量与精准的平衡。我们将IIA集成到YOLOv11的C3k2模块中。实验表明，改进后的YOLOv11在多个数据集上提高了精

本文提出信息整合注意力（IIA）机制，并将其集成到YOLOv11中用于遥感图像语义分割。传统CNN难捕捉全局信息，Transformer计算复杂，现有基于Mamba的方法未充分考虑局部信息。IIA利用图像特征空间位置不变性，先融合编解码器特征，再从高度和宽度方向提取序列信息，生成注意力权重因子动态调制特征。其通过通道级拼接、双方向拆分与池化、轻量级1D卷积和残差融合等操作，平衡了精度与计算成本。实验表明，集成IIA的YOLOv11在数据集上提高了精度，且运行高效。

本文提出了用于低分辨率图像分割的MaskAttn - UNet框架，并将其核心的掩码注意力机制集成到YOLOv11中。传统U - Net类模型难以捕捉全局关联，Transformer类模型计算量大，而掩码注意力机制通过可学习的掩码，让模型选择性关注重要区域，融合了卷积的局部效率和注意力的全局视野。其工作流程包括特征适配、掩码生成、定向注意力计算和特征融合。我们将掩码注意力机制代码集成到YOLOv11中。

本文提出了用于低分辨率图像分割的MaskAttn - UNet框架，并将其核心的掩码注意力机制集成到YOLOv11中。传统U - Net类模型难以捕捉全局关联，Transformer类模型计算量大，而掩码注意力机制通过可学习的掩码，让模型选择性关注重要区域，融合了卷积的局部效率和注意力的全局视野。其工作流程包括特征适配、掩码生成、定向注意力计算和特征融合。我们将掩码注意力机制代码集成到YOLOv11中。

本文介绍收缩 - 广播自注意力（CBSA）（（Contract-and-Broadcast Self-Attention））机制，并将其集成到YOLOv11中。传统注意力机制存在黑盒难理解、计算复杂度高的问题，CBSA通过算法展开推导出本质上可解释且高效的注意力机制。它先从输入数据中选出少量代表性tokens，接着对代表进行收缩计算，再将结果广播给所有原始数据。该机制计算量线性增长，具有明确数学解释，还能统一多种注意力机制。我们将CBSA代码集成到YOLOv11的C3k2模块中。实验证明，改进后的YOLOv

本文介绍了 DiffCLIP，一种将差分注意力机制集成到 CLIP 架构的视觉 - 语言模型，并将其应用于 YOLOv11。差分注意力机制通过计算两个互补注意力分布的差值，抵消无关信息干扰。单头差分注意力将 Q 和 K 拆分，分别计算注意力分布后做差值融合；多头差分注意力则每个头独立执行差分操作后聚合输出。关键参数 λ 可动态调控噪声抵消强度。我们将 DiffAttention 代码集成到 YOLOv11 中，替换原有模块。实验表明，改进后的 YOLOv11 在图像 - 文本理解任务中表现出色。

本文介绍了双边高效视觉注意力网络（BEVANet），并将其核心特征提取单元EVA集成进YOLOv11。实时语义分割面临捕捉大感受野和细化精细轮廓的挑战，BEVANet通过SDLSKA、CKS、CFFN等模块解决这些问题，扩大感受野、提升性能、丰富上下文特征。我们将EVA相关代码集成到YOLOv11中，创建C3k2_EVA模块，并在tasks文件中进行注册。实验证明，YOLOv11-C3k2_EVA在目标检测任务中表现良好，实现了实时分割速度和较高的交并比。

本文介绍了多尺度线性注意力机制MSLA，并将其集成进YOLOv11。现有基于CNN和Transformer的医学图像分割方法存在局限性，为解决这些问题，我们提出了MSLAU-Net架构，其中MSLA通过并行多尺度特征提取和低复杂度线性注意力计算，捕获细粒度局部细节与全局长程依赖。我们将MSLA的代码集成到YOLOv11中，创建C2PSA_MSLA模块，并在tasks文件中进行注册。实验证明，YOLOv11-C2PSA_MSLA在目标检测任务中取得了良好的效果，验证了方法的优越性、有效性和鲁棒性。

本文介绍了 DiffCLIP，一种将差分注意力机制集成到 CLIP 架构的视觉 - 语言模型，并将其应用于 YOLOv11。差分注意力机制通过计算两个互补注意力分布的差值，抵消无关信息干扰。单头差分注意力将 Q 和 K 拆分，分别计算注意力分布后做差值融合；多头差分注意力则每个头独立执行差分操作后聚合输出。关键参数 λ 可动态调控噪声抵消强度。我们将 DiffAttention 代码集成到 YOLOv11 中，替换原有模块。实验表明，改进后的 YOLOv11 在图像 - 文本理解任务中表现出色。

本文介绍了分层多头注意力驱动的Transformer模型HINT中的核心模块HMHA，并将其集成到YOLOv11中。传统多头注意力机制（MHA）存在冗余问题，HMHA通过“通道重排序+分层子空间划分”，使注意力头在不同子空间学习，避免冗余，提取多样化上下文特征。其流程包括通道重排序、分层子空间划分与注意力计算、特征聚合三步。我们将HMHA集成到YOLOv11，构建C3k2_HMHA模块，经注册和配置yaml文件后进行实验，以验证其在目标检测任务中的有效性。

本文介绍了跨范式表征与对齐Transformer（CPRAformer），并将其核心的CPIA - SA技术集成进YOLOv11。CPIA - SA通过协同“空间 - 通道”与“全局 - 局部”两种范式，解决传统图像去雨模型特征提取不全面的问题。其包含SPC - SA、SPR - SA和AAFM三个子模块，分别负责提取全局通道特征、细化局部空间特征以及对齐融合特征。工作流程为双路提取、动态过滤、空间细化和对齐融合。我们将CPIA - SA相关代码集成到YOLOv11中，替换原有模块。实验表明，改进后的YOL

本文介绍了新型视觉适配器微调方法Mona，并将其集成到YOLOv11中。传统全参数微调成本高、存储负担重且有过拟合风险，现有PEFT方法性能落后。Mona仅调整5%以内的骨干网络参数，在多个视觉任务中超越全参数微调。其核心亮点包括参数效率高、性能突破和即插即用。适配器模块包含降维、多认知视觉滤波器等单元，通过深度可分离卷积和多尺度卷积核处理视觉信号，还加入分布适配层优化输入分布。我们将Mona集成到YOLOv11，经注册和配置yaml文件后进行实验，展现出良好效果。

本文介绍了MambaOut模型，并将其集成到YOLOv11中。MambaOut由新加坡国立大学团队提出，旨在验证Mamba架构中状态空间模型（SSM）在视觉任务中的必要性。它移除了Mamba块中的SSM模块，仅保留基础的门控CNN结构。研究认为Mamba更适合长序列和自回归任务，图像分类无需Mamba，而目标检测和图像分割等长序列视觉任务有探索Mamba潜力的价值。实验构建MambaOut模型验证假设，结果显示其在图像分类任务上超越视觉Mamba模型，在检测与分割任务中无法达最先进水平。我们将MambaOu

本文介绍了用于多任务低光图像恢复的DarkIR模型中的DBlock，并将其集成到YOLOv11。DBlock部署在模型解码器阶段，负责图像去模糊、提升细节锐度及上采样。它遵循Metaformer架构，由扩张空间注意力模块（Di - SpAM）和门控前馈网络（GatedFFN）构成。Di - SpAM通过多尺度扩张卷积高效提取大感受野特征，GatedFFN引入门控机制筛选特征。DBlock与编码器协同，通过简单加法融合特征并上采样。我们将DBlock集成到YOLOv11，经注册和配置yaml文件后进行实验，展

本文介绍了新型视觉适配器微调方法Mona，并将其集成到YOLOv11中。传统全参数微调成本高、存储负担重且有过拟合风险，现有PEFT方法性能落后。Mona仅调整5%以内的骨干网络参数，在多个视觉任务中超越全参数微调。其核心亮点包括参数效率高、性能突破和即插即用。适配器模块包含降维、多认知视觉滤波器等单元，通过深度可分离卷积和多尺度卷积核处理视觉信号，还加入分布适配层优化输入分布。我们将Mona集成到YOLOv11，经注册和配置yaml文件后进行实验，展现出良好效果。

本文介绍了新型视觉适配器微调方法Mona，并将其集成到YOLOv11中。传统全参数微调成本高、存储负担重且有过拟合风险，现有PEFT方法性能落后。Mona仅调整5%以内的骨干网络参数，在多个视觉任务中超越全参数微调。其核心亮点包括参数效率高、性能突破和即插即用。适配器模块包含降维、多认知视觉滤波器等单元，通过深度可分离卷积和多尺度卷积核处理视觉信号，还加入分布适配层优化输入分布。我们将Mona集成到YOLOv11，经注册和配置yaml文件后进行实验，展现出良好效果。

本文介绍了高效判别频域前馈网络（EDFFN），并将其集成到YOLOv11中。EDFFN是为解决图像复原中局部信息表征不足和频域计算成本过高问题而提出的。传统方法存在SSM全局信息偏向性和频域FFN高计算成本的问题，EDFFN通过将频域操作位置从FFN中间层迁移到末端，降低了计算成本并保留了性能。其结构包括特征投影与激活、降维与频域转换、判别性频域筛选、逆变换与特征融合。我们将EDFFN集成到YOLOv11，注册并配置yaml文件，实验表明改进后的模型有良好表现。

本文介绍了动态混合层（DML），并将相关改进模块集成进YOLOv11。DML是SRConvNet核心组件，用于解决轻量级图像超分辨率任务中特征捕捉和通道适应性问题。它通过通道扩展拆分、多尺度动态深度卷积、通道洗牌与融合等步骤，实现多尺度局部信息聚合和通道自适应增强。DML的动态卷积具有内容感知适配和分组共享效率优势，多尺度设计能覆盖全尺度图像细节。我们将DML相关模块集成到YOLOv11，注册并配置yaml文件。实验表明，改进后的YOLOv11有较好的效果。

本文介绍了多核U形卷积神经网络（MK-UNet）的多核深度可分离卷积模块（MKDC），并将其集成进YOLOv11。MKDC是MK-UNet核心组件，通过并行多内核深度卷积、特征聚合和通道洗牌，有效捕获多尺度空间关系，具有内核尺寸灵活性和轻量化高性能平衡的优势。我们将MKDC相关代码集成到YOLOv11中，在tasks文件进行注册，并配置yolov11-MultiKernelDepthwiseConv.yaml。实验表明，含MKDC的MK-UNet在医学图像分割任务中表现优异，集成后的YOLOv11也有良好效