魔改工程师的博客

本文介绍了类Mamba线性注意力机制（MLLA），这是一种结合了Mamba模型与线性注意力Transformer优势的高效视觉注意力机制。该方法通过将Mamba中的关键设计（如遗忘门和块设计）融入线性注意力，利用线性归一化替代Softmax函数，在保持模型并行计算速度的同时显著降低了计算复杂度。我们将 MLLA 模块集成进 YOLOv8 的 Neck 部分，增强了模型对长序列和高分辨率输入的特征提取能力。实验结果表明，引入 MLLA 的 YOLOv8 模型在保持快速推理速度的同时，显著提升了在密集预测任务中

本文介绍了三重注意力机制（Triplet Attention），这是一种通过三分支结构捕获跨维度交互以计算注意力权重的轻量化方法。该方法利用旋转操作构建通道与空间维度间的依赖关系，有效编码通道间和空间信息，且计算开销极低。我们将 Triplet Attention 模块集成进 YOLOv8 的 Neck 部分，插入于特征融合后的 C2f 模块之后，增强了模型对关键特征的提取能力。实验结果表明，引入 Triplet Attention 的 YOLOv8 模型在目标检测任务中能够以可忽略的额外计算成本显著提升检

本文介绍了双层路由注意力机制（Bi-Level Routing Attention, BRA），这是一种旨在解决多头自注意力机制（MHSA）可扩展性问题的动态稀疏注意力机制。该方法通过双层路由策略，首先在粗粒度区域级别过滤掉无关的键值对，仅保留少量路由区域，随后在细粒度像素级别进行注意力计算，从而实现查询感知的高效计算。我们将 BRA 集成进 YOLOv8 的 Neck 部分，替代原有的部分卷积层，使模型在保持高检测精度的同时显著降低了计算和内存开销。实验结果表明，引入 BRA 的 YOLOv8 模型在多个

本文介绍了通道先验卷积注意力（CPCA）及其在YOLOv8中的结合应用。医学图像分割面临挑战，现有注意力机制效果不佳，CPCA应运而生。它结合通道注意力和空间注意力，通过多尺度深度可分离卷积模块提取空间关系并保留通道先验。通道注意力学习通道重要性，空间注意力捕捉位置关系。我们将CPCA代码引入指定目录，在`ultralytics/nn/tasks.py`中注册，配置`yolov8-CPCA.yaml`文件，最后经实验脚本和结果验证了改进的有效性。

本文介绍了上下文Transformer（CoT）块及其在YOLOv8中的结合应用。大多数现有设计未充分利用邻近键的上下文信息，为此提出CoT块。它先通过3×3卷积对输入键进行上下文编码得到静态表示，再与输入查询连接，经两个1×1卷积学习动态多头注意力矩阵，与输入值相乘得到动态表示，最后融合二者作为输出。我们将CoTAttention代码引入指定目录，在`ultralytics/nn/tasks.py`中注册，配置`yolov8-CoTAttention.yaml`文件，最后经实验脚本和结果验证了改进的有效性

本文介绍了坐标注意力（Coordinate Attention）及其在YOLOv8中的结合应用。现有通道注意力常忽略位置信息，坐标注意力将位置信息嵌入通道注意力，通过坐标信息嵌入和坐标注意力生成两个步骤增强特征表达。它把通道注意力分解为两个1D特征编码过程，能捕获长距离依赖并保留位置信息，生成的注意力图可增强目标表示。我们将CoordAtt代码引入指定目录，在`ultralytics/nn/tasks.py`中注册，配置`yolov8-CoordAttention.yaml`文件，最后经实验脚本进行训练验证

本文介绍了SKAttention（选择性核注意力）机制，这是一种受生物视觉皮层启发的动态多尺度特征提取方法。该技术通过Split、Fuse和Select三个算子，使神经元能根据输入自适应调整感受野大小，通过不同卷积核分支的软注意力融合来捕捉复杂的空间特征。我们将SKAttention集成进YOLOv11（基于YOLOv8架构演进），在保持计算效率的同时显著增强了模型对多尺度目标的检测能力。实验表明，该改进能有效提升模型在复杂场景下的特征聚合与理解能力。

本文介绍了空间分组增强模块（Spatial Group-wise Enhance, SGE），这是一种旨在改善卷积神经网络中语义特征学习的轻量化注意力机制。该方法通过将特征图分组，利用全局与局部特征描述符的相似性生成注意力因子，从而在不引入大量参数的情况下自主增强各组的特征表达并抑制噪声干扰。我们将 SGE 模块集成进 YOLOv8 的 Neck 部分及 C2f 构造块中，有效提升了模型对高阶语义特征的捕捉能力。实验结果表明，引入 SGE 的 YOLOv8 模型在保持轻量化优势的同时，显著增强了特征的空间鲁

本文介绍了代理注意力（Agent Attention）及其在YOLOv8中的结合应用。传统全局注意力机制计算成本高，为此提出Agent Attention，创新性地引入代理向量A，形成四元组(Q, A, K, V)。它由两个Softmax注意力操作组成，等效于广义线性注意力，兼具高性能与高效性。为发挥其潜力，还定义了Agent Bias并采用DWC模块。我们将Agent Attention代码引入指定目录，在`ultralytics/nn/tasks.py`中注册，配置`yolov8_AgentAttent

本文介绍了上下文锚点注意力（CAA）模块及其在YOLOv8中的结合应用。遥感图像目标检测面临目标尺度变化和上下文多样的挑战，PKINet引入CAA模块来应对。CAA模块先通过全局平均池化和1×1卷积提取局部特征，再用条带卷积捕捉远程上下文信息，最后用Sigmoid生成注意力权重图增强特征。该模块具有轻量化、特征增强和多尺度适应的优点。我们将CAA代码引入指定目录，在`ultralytics/nn/tasks.py`中注册，配置`yolov8_CAA.yaml`文件，最后经实验脚本和结果验证了改进的有效性。

本文介绍了多尺度卷积注意力（MSCA）及其在YOLOv8中的结合应用。基于变换器的模型在语义分割领域占主导，但卷积注意力在编码上下文信息方面更高效。MSCA由深度卷积聚合局部信息、多分支深度卷积捕获多尺度上下文信息、1×1逐点卷积模拟通道关系三部分组成。我们将MSCA代码引入指定目录，在`ultralytics/nn/tasks.py`中注册，配置`yolov8_MSCA.yaml`文件，最后通过实验脚本和结果验证了改进的有效性。

本文介绍了多维协作注意力（MCA）及其在YOLOv8中的结合应用。现有注意力机制方法存在忽略维度建模或计算负担重的问题，为此提出MCA，其通过三分支架构同时推断通道、高度和宽度维度注意力，几乎无额外开销。MCA关键在于挤压和激励变换，前者聚合特征，后者捕获局部交互。我们将MCA代码引入指定目录，在`ultralytics/nn/tasks.py`中注册，配置`yolov8_MCA.yaml`文件，最后经实验脚本和结果证明改进有效。

本文介绍了多尺度扩张注意力（MSDA）及其在YOLOv8中的结合应用。标准视觉变换器存在计算成本高或关注接受域小的问题，为此提出MSDA，其利用多尺度扩张机制，能捕获局部稀疏的补丁交互，降低自注意机制的冗余。MSDA通过多头设计，不同头部设置不同扩张率，在不同尺度上捕获语义信息并聚合。我们将MSDA代码引入指定目录，在`ultralytics/nn/tasks.py`中注册，配置`yolov8_MSDA.yaml`文件，最后通过实验脚本和结果验证了改进的有效性。

自注意力机制因其与参数无关的感受野扩展能力以及基于内容的交互方式，被认为有潜力提升计算机视觉系统的性能，这与卷积的参数依赖型感受野扩展和与内容无关的交互方式形成了鲜明对比。最近的研究表明，与基线卷积模型（如 ResNet-50）相比，自注意力模型在精度-参数权衡方面取得了令人鼓舞的改进。在这项工作中，我们旨在开发不仅能超越经典基线模型，还能超越高性能卷积模型的自注意力模型。我们提出了两种自注意力的扩展方法，并结合一种更高效的自注意力实现方式，提升了这些模型的速度、内存使用效率和准确性。

本文介绍了基于轴向注意力（Axial Attention）的Axial Transformers在YOLOv8中的结合。现有自回归模型处理高维数据时存在计算资源需求大等问题，而Axial Attention通过对张量单个轴进行注意力计算，降低了计算复杂度和内存需求，且通过堆叠层可实现全局感受野。我们将相关代码加入指定目录，在`ultralytics/nn/tasks.py`中注册，配置`yolov8 - AxialImageTransformer.yaml`文件，最后通过实验脚本和结果验证了方法的有效性。

本文介绍了空间与通道协同注意力模块（SCSA），旨在揭示空间和通道注意力在多语义层面的协同关系。SCSA由可共享多语义空间注意力（SMSA）和渐进式通道自注意力（PCSA）组成，SMSA通过划分特征图和深度可分离卷积提取多语义空间信息，PCSA则进一步整合通道信息。两者相互协作，缓解多语义信息差异。我们将SCSA引入YOLOv8，在指定目录添加代码文件，在`ultralytics/nn/tasks.py`中注册，给出配置文件和实验脚本，实验展示了相关结果。

本文介绍了二阶通道注意力（SOCA）模块，它通过引入二阶统计信息来增强特征表示和学习特征间的相关性。传统通道注意力机制依赖一阶统计信息，忽略了通道间相互关系，而SOCA模块计算特征图通道的协方差，捕捉通道间依赖。其实现步骤包括特征提取、计算均值和协方差、生成注意力权重和特征重标定。我们将SOCA模块引入YOLOv8，在指定目录添加代码文件，在`ultralytics/nn/tasks.py`中注册，给出配置文件和实验脚本，实验展示了相关结果。

本文介绍了内容引导注意力（CGA）机制，它结合通道注意力和空间注意力，为每个通道生成特定的空间重要性图，以更好地关注输入特征中的有用信息。CGA的通道注意力通过全局池化生成通道权重，空间注意力处理空间维度生成空间权重，二者结合生成最终注意力图。其优势在于通道特异性、空间关注和处理非均匀性。我们将基于CGA的CGAFusion模块引入YOLOv8，在指定目录添加代码文件，在`ultralytics/nn/tasks.py`中注册，并给出配置文件和实验脚本，实验给出了相关结果。

本文介绍了高斯上下文变换器（Gaussian Context Transformer，GCT），这是一种新型通道注意力模块，旨在提升深度卷积神经网络（CNN）的表现力。传统通道注意力模块通过全连接层或线性变换学习全局上下文与注意力激活的关系，但效果不佳。GCT假设该关系预先确定，由全局上下文聚合、归一化和高斯上下文激励三个操作组成。根据高斯函数标准差是否可学习，分为无参数的GCT - B0和有参数的GCT - B1。我们将GCT引入YOLOv8，在指定目录添加代码文件，在`ultralytics/nn/ta

本文提出高效局部注意力（ELA）机制，并将其集成到YOLOv8中。传统注意力机制在利用空间信息时存在不足，ELA旨在解决这些问题。其通过“条带池化”提取空间信息，用1D卷积处理特征向量，使用分组归一化替代批量归一化，最后生成空间注意力图。我们精心设计了三个超参数，形成四个不同版本以满足不同视觉任务需求。将ELA代码集成到YOLOv8后，在数据集上的实验表明，改进后的YOLOv8在目标检测任务中均优于当前方法。

本文提出ParNet注意力机制，并将其集成到YOLOv8中。传统深度神经网络计算复杂度高、延迟大，而ParNet通过并行子网络设计解决了这些问题。其核心是将网络层并行组织成多个子网络，采用VGG风格块进行特征提取，后期融合各子网络特征。该机制将序列分割成子序列独立计算注意力，降低了长序列计算复杂度。我们将ParNetAttention代码集成到YOLOv8中。实验表明，改进后的YOLOv8在多个数据集上表现良好，验证了非深度网络在保持高性能的同时可减少延迟。

本文提出HCANet模型，并将其核心的CAFMAttention模块集成到YOLOv8中用于目标检测。传统方法在高光谱图像去噪时，对全局和局部特征的同时建模研究较少。HCANet采用U型网络结构，包含CAFM和MSFN模块。CAFM模块的局部分支用卷积和通道重排提取局部特征，全局分支用注意力机制捕获长距离依赖；MSFN模块通过并行扩张卷积实现多尺度信息聚合。我们将CAFMAttention代码集成到YOLOv8中。实验表明，改进后的YOLOv8在及目标检测任务中表现良好，验证了模型有效性。

本文提出ACmix模型，并将其集成到YOLOv8中用于目标检测。传统卷积和自注意力通常被视为独立方法，ACmix发现二者存在内在联系，其核心是将自注意力和卷积技术结合。输入特征经三个1×1卷积投影后，自注意力路径按多头自注意力处理，卷积路径用轻量级全连接层和深度卷积处理，二者输出由可学习标量控制相加。我们将ACmix代码集成到YOLOv8中。实验表明，改进后的YOLOv8在图像识别和下游任务中表现优于竞争性基线，证明了该模型的有效性。

本文提出基于单阶段检测器YOLOv5的实时人脸检测器YOLO - FaceV2，并将SEAM模块集成到YOLOv8中。传统人脸检测算法在精度、速度及处理遮挡等问题上存在不足。SEAM模块采用多头注意力机制，通过深度可分离卷积、1x1卷积、全连接网络学习面部特征，同时采用指数归一化提高模型鲁棒性。我们将SEAM代码集成到YOLOv8中。实验表明，改进后的YOLOv8在数据集上性能超过YOLO及其变体，在简单、中等和困难子集中均有提升，尤其在面部遮挡场景下表现出色。

本文提出三重注意力（Triplet Attention）机制，并将其集成到YOLOv8中用于计算机视觉任务。传统注意力机制在计算通道和空间注意力时相互独立，未考虑两者关系。Triplet Attention由三个并行分支构成，通过旋转操作构建跨维度交互，利用Z-pool操作降低维度，经分支计算和空间注意力分支计算后，将结果聚合。我们将其代码集成到YOLOv8中。实验表明，改进后的YOLOv8在图像分类、目标检测等任务中提高了性能。

本文介绍了可变形大核注意力（D-LKA Attention）机制，该机制解决了Transformer在医学图像分割中计算成本高、忽略片间信息的问题。它通过大卷积核获取大感受野且控制计算开销，结合可变形卷积动态调整采样网格以适配数据模式，还设计了2D和3D版本（3D版擅长跨深度数据理解）。我们将D-LKA Attention集成进YOLOv11，构建分层视觉Transformer架构D-LKA Net。实验证明，该模型在数据集上表现优于现有方法，提升了分割精度。

本文介绍了可变形自注意力模块DAttention，该模块解决了传统Transformer注意力机制计算成本高、对无关信息敏感等问题。它通过数据依赖的位置选择、灵活的偏移学习等机制，动态聚焦关键区域，捕捉有效特征。我们将DAttention集成进YOLOv8，替代原有模块提升特征提取能力。实验证明，集成该模块的YOLOv8在检测任务中表现更优，验证了可变形注意力的有效性。

本文提出了新颖高效的多尺度注意力（EMA）模块，并将其与YOLOv8结合以提升性能。该模块着重保留各通道信息、降低计算开销，通过将部分通道重塑为批量维度、分组通道维度，使空间语义特征分布更均匀。其创新点包括高效多尺度注意力机制、通道维度重塑、并行子网络设计等，在目标检测任务中表现出色。EMA模块结合通道和空间信息，采用多尺度并行子网络结构，优化坐标注意力机制。实验表明，将EMA集成进YOLOv8后，模型在图像分类和目标检测任务上有更好表现。

本文介绍了混合注意力Transformer（HAT），针对图像超分辨率任务设计，结合通道注意力与窗口自注意力，引入重叠交叉注意力模块增强窗口间信息交互，还采用同任务预训练策略挖掘模型潜力。该模型通过浅层/深层特征提取、图像重建模块完成超分辨率任务，深层提取依托RHAG结构整合残差连接与混合注意力。将HAT集成进YOLOv11，替换相关特征处理模块，实验表明YOLOv11-HAT在检测任务中表现良好，提升了模型特征提取与交互能力。

本文介绍了倒置残差移动块（iRMB），并将其集成到YOLOv8中。传统轻量级模型在资源受限设备上存在性能瓶颈，iRMB融合了CNN和Transformer架构的优点，既保留了CNN建模短距离依赖的高效性，又具备Transformer动态建模长距离交互的能力。其创新点包括融合架构优势、设计简单高效、优化资源消耗、实现技术突破以及具备灵活性和泛化能力。我们将iRMB集成到YOLOv8，经注册和配置yaml文件后进行实验，结果表明该方法在目标检测任务中具有良好效果。

本文介绍了Large Separable Kernel Attention (LSKA) 模块，并将其集成进YOLOv8。视觉注意网络（VAN）中的大卷积核注意力（LKA）模块存在计算和内存占用问题，LSKA通过将2D深度卷积核分解为水平和垂直的1D卷积核，解决了这些问题。该模块降低了计算复杂度和内存占用，使VAN更关注物体形状。我们将LSKA代码集成到YOLOv8中，在tasks文件注册，并配置yolov8-LSKAttention.yaml。实验表明，LSKA模块在对象识别、检测、分割和稳健性测试上表现

本文介绍了大型选择性核网络（LSKNet），并将其核心注意力机制集成进YOLOv8。遥感目标检测常忽略场景先验知识，LSKNet通过LSKblock Attention动态调整感受野，处理不同目标的广泛上下文。其结构包含LSK module、LSK Block等，通过大核卷积和空间核选择实现特征提取与选择。我们将LSKNet相关代码集成到YOLOv8中，在tasks文件注册，并配置yolov8-lsknet.yaml。实验表明 集成后的YOLOv8在目标检测任务中也有良好效果。

本文介绍了轻量级的Mixed Local Channel Attention (MLCA) 模块，并将其集成进YOLOv8。实时目标检测需要提高网络表达效果，MLCA模块通过局部池化、分支处理和信息融合，同时考虑通道、空间、局部和全局信息。其工作原理包括提取局部空间信息、捕获通道交互信息以及融合全局和局部信息。我们将MLCA代码集成到YOLOv8中，在tasks文件中注册，并配置yolov8-MLCAttention.yaml文件。实验证明，在Pascal VOC和SMID数据集上，该方法相比其他注意力技术

本文介绍了非局部操作（Non-Local）与YOLOv8的结合。传统卷积和循环网络一次处理局部邻域，作者受非局部均值方法启发，提出非局部操作，计算某位置响应为所有位置特征加权和，可插入多种网络架构。该操作能直接捕捉远程依赖，可作为组件与其他网络结合，在多种视觉任务尤其是视频分类中效果良好。我们将NLBlockND模块引入YOLOv8，对代码进行修改和注册，并配置了yolov8 - non_local.yaml文件。实验脚本展示了其在目标检测任务中的应用。

本文介绍了极化自注意力（PSA）块与YOLOv8的结合。像素级回归在细粒度计算机视觉任务中具有挑战性，为解决长距离依赖建模问题，提出PSA块，融合极化过滤和增强两个关键设计，实现高质量像素级回归。PSA块通过对输入特征进行空间和通道维度处理，增强模型特征表征能力。我们将PolarizedSelfAttention模块引入YOLOv8，对代码进行修改和注册，并配置了yolo8 - PolarizedSelfAttention.yaml文件。实验脚本展示了其在目标检测任务中的应用。

本文介绍了超级令牌注意力（STA）机制与YOLOv8的结合。视觉Transformer在浅层捕获局部特征时存在冗余问题，为解决早期阶段全局上下文建模的挑战，受超像素设计启发，引入超级令牌，提出STA机制，包括超级令牌抽取、自注意力处理和映射回原始令牌空间三个步骤，提高了捕获全局依赖的效率。基于STA，开发了层次化视觉Transformer。我们将StokenAttention模块引入YOLOv8，对代码进行修改和注册，并配置了yolov8 - stoken_attention.yaml文件。实验脚本显示了