YOLOv11 改进 - 即插即用 | RepViTBlock重参数化视觉Transformer块：结构重参数化技术破解训练推理效率瓶颈，实现精度与速度兼得

前言

本文介绍了轻量级卷积神经网络RepViT及其核心模块RepViTBlock在YOLOv11中的结合应用。RepViT通过融合轻量级ViTs的高效架构设计，对轻量级CNN进行“现代化”改造，采用结构重参数化技术，其核心的RepViT Block分离Token Mixer和Channel Mixer，提高了空间和通道信息利用效率。我们将RepViTBlock集成进YOLOv11，实验表明，RepViT在视觉任务中表现优于现有轻量级ViTs，与SAM结合后推理速度大幅提升，改进后的YOLOv11也取得了良好实验结果。

文章目录： YOLOv11改进大全：卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

专栏链接: YOLOv11改进专栏

介绍

摘要

近期，轻量级视觉Transformer（Vision Transformers, ViTs）在资源受限的移动计算平台上展现出相较于传统轻量级卷积神经网络（CNNs）更优异的性能表现与更低的推理延迟。尽管已有研究揭示了轻量级ViTs与轻量级CNNs之间存在诸多结构性关联，但两者在模块级架构、宏观设计理念以及微观实现细节方面的显著差异性尚未得到系统性的深入探讨。本研究从视觉Transformer的技术视角重新审视轻量级CNN的高效架构设计范式，并着重强调其在移动设备应用场景中的巨大潜力。具体而言，通过系统融合轻量级ViTs的高效架构设计要素，逐步优化标准轻量级CNN（如MobileNetV3）的移动端适配特性，最终构建了一个全新的轻量级CNN架构家族，命名为RepViT。大量实验验证结果表明，RepViT在多种视觉任务中均显著优于现有的轻量级ViTs模型，并展现出理想的延迟性能指标。特别地，在ImageNet数据集上的测试中，RepViT首次实现了在iPhone 12移动设备上以1.0毫秒超低延迟达到超过80%的Top-1分类精度，成功突破了轻量级模型在精度与速度权衡方面的性能瓶颈。此外，将RepViT与SAM（Segment Anything Model）技术结合后，RepViT-SAM的推理速度相比先进的MobileSAM实现近10倍的显著提升。相关