YOLOv8改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注

已于 2025-03-04 14:40:22 修改
阅读量129 收藏
点赞数
分类专栏： YOLOv8改进专栏 文章标签： YOLO 深度学习 计算机视觉 目标检测
于 2024-12-16 16:29:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42591591/article/details/144511953
版权

一、本文介绍

本文记录的是基于EfficientViT的YOLOv8轻量化改进方法研究。EfficientViT 通过构建多尺度线性注意力模块将全局感受野与多尺度学习相结合，并以此模块为核心构建网络，构建轻量级且硬件高效的操作，以提升性能并降低硬件部署难度。

本文在替换骨干网络中配置了原论文中的EfficientViT_M0、EfficientViT_M1、EfficientViT_M2、EfficientViT_M3、EfficientViT_M4和EfficientViT_M56种模型，以满足不同的需求。

模型 参数量 计算量 推理速度
YOLOv8m 25.8M 79.1GFLOPs 4.7ms
Improved 16.3M 44.3GFLOPs 4.6ms

专栏目录：YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：YOLOv8改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

文章目录

了解本专栏 订阅专栏 解锁全文
YOLOv11改进 | 主干/Backbone篇 | 利用目标检测轻量化网络MobileNetV2替换Backbone（yolov11系列全系轻量化）
Snu77的博客
10-31 1919
本文给大家带来的改进机制是，其是专为移动和嵌入式视觉应用设计的轻量化网络结构。其在MobilNetV1的基础上采用反转残差结构和线性瓶颈层。这种结构通过轻量级的深度卷积和线性卷积过滤特征，同时去除狭窄层中的非线性，以维持表征能力。MobileNetV2在性能上和精度上都要比V1版本强很多，其在多种应用（如对象检测、细粒度分类、面部属性识别和大规模地理定位）中都展现了一定的有效性。YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录一、本文介绍二、MobileNetV2的框架原理。
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注
Limiiiing的博客
10-28 579
本文记录的是基于EfficientViT的YOLOv11轻量化改进方法研究。通过构建多尺度线性注意力模块将全局感受野与多尺度学习相结合，并以此模块为核心构建网络，构建轻量级且硬件高效的操作，以提升性能并降低硬件部署难度。本文在替换骨干网络中配置了原论文中的和6种模型，以满足不同的需求。
YOLOv11融合CVPR[2020]轻量化卷积模块Ghost Module模块及相关改进思路|YOLO改进最简教程
深度学习炼丹师，偶尔分享炼丹技术!
11-11 2668
论文速览：CNN 的最新进展主要致力于设计更复杂的架构以提高其表示学习能力。在本文中，我们考虑在不调整模型架构的情况下改进 CNN 的基本卷积特征转换过程。为此，我们提出了一种新的自校准卷积，它通过内部通信显式扩展了每个卷积层的视野，从而丰富了输出特征。特别是，与使用小内核（例如 3 × 3）融合空间和通道信息的标准卷积不同，我们的自校准卷积通过一种新颖的自校准操作，在每个空间位置自适应地构建长距离空间和通道间依赖关系。因此，它可以通过明确地整合更丰富的信息来帮助 CNN 生成更具鉴别性的表示。
YOLOv11骨干轻量化改进shufflenetv2
weixin_71460900的博客
12-04 994
（1）核心代码（nn.modules.shufflenetv2.py）（2）task.py引用。
YOLOv11改进 | 主干/Backbone篇 | 利用轻量化目标检测网络MobileNetV3替换Backbone（yolov11全系列轻量化）
Snu77的博客
10-31 1729
本文给大家带来的改进机制是，其主要改进思想集中在结合硬件感知的网络架构搜索（NAS）和NetAdapt算法，以优化移动设备CPU上的性能。它采用了新颖的架构设计，包括反转残差结构和线性瓶颈层，以及新的高效分割解码器Lite Reduced Atrous Spatial Pyramid Pooling（LR-ASPP），以提升在移动分类、检测和分割任务上的表现。实验表明，MobileNets在资源和准确性的权衡方面表现出色，并在多种应用（如对象检测、细粒度分类、面部属性识别和大规模地理定位）中展现了其有效性。
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注
Limiiiing的博客
12-03 355
本文记录的是基于EfficientViT的RT-DETR轻量化改进方法研究。通过构建多尺度线性注意力模块将全局感受野与多尺度学习相结合，并以此模块为核心构建网络，构建轻量级且硬件高效的操作，以提升性能并降低硬件部署难度。本文在替换骨干网络中配置了原论文中的和种模型，以满足不同的需求。
YOLOv10改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注
Limiiiing的博客
11-12 158
本文记录的是基于EfficientViT的YOLOv10轻量化改进方法研究。通过构建多尺度线性注意力模块将全局感受野与多尺度学习相结合，并以此模块为核心构建网络，构建轻量级且硬件高效的操作，以提升性能并降低硬件部署难度。本文在替换骨干网络中配置了原论文中的和6种模型，以满足不同的需求。
YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-24 4408
1️⃣本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-24。项目介绍在大家购买专栏后，加入学
YOLOv11改进：轻量化模型MobileNetv4
qq_44231797的博客
04-24 1002
它通过整合多种先进技术，如通用反转瓶颈（UIB）、针对移动设备优化的注意力机制（Mobile MQA），以及先进的架构搜索方法（NAS），实现了在不同硬件上的高效运行，成功打造出一系列在移动设备上表现最优的模型，兼顾计算效率和精度，实现了在多种硬件平台上的帕累托最优性能。**MobileNetV4（MNv4）**是最新一代的MobileNet，其核心原理在于实现了跨各种移动设备的高效性能,**预处理（pre-process）：**0.6毫秒（ms）**推理（inference）：**6.6毫秒（ms）
YOLO11涨点优化：轻量化改进 | Ghostnet、G_ghost、Ghostnetv2家族大作战（二）：华为Ghostnetv2，端侧小模型性能新SOTA | NeurIPS22
10-10 402
捕捉空间信息的能力很弱，这可能会妨碍性能的进一步提高,GhostNetV2 是 GhostNet 的增强版本
YOLOv11改进策略【模型轻量化】| 替换轻量化骨干网络：ShuffleNet V1
Limiiiing的博客
10-31 462
本文记录的是基于ShuffleNet V1的YOLOv11轻量化改进方法研究。ShuffleNet利用和操作降低计算成本，克服了现有先进架构在极小网络中因 1×1 卷积计算成本高而效率低的问题。相比一些传统的网络架构，能更好地。本文配置了原论文中和四种模型，以满足不同的需求。
YOLO11新王登基！实战改进版，杀穿顶会！
2401_82426425的博客
01-08 865
众所周知，YOLO一直是发论文的大热门！而做为其的最新版本，必然会在2025成为各大顶会的“宠儿”！主要在于：一方面，YOLO其他系列的改进早已卷成“红海”，而YOLO11提出才几个月，目前还比较新，可发挥空间很大。另一方面，其在不牺牲准确度的情况下，还具有更高的计算效率，尤其在资源受限的情况下，非常适用。但也面临模型复杂度高、依赖标注数据的质量和数量等问题。这便给我们论文创新提供了机会！想往这方向发论文的伙伴，可以从这些方面入手：模型架构优化（像是引入注意力机制、多尺度特征融合；模型轻量化；
YOLO11涨点优化：小目标检测 | 多头检测器提升小目标检测精度
10-12 2415
引入多头检测器助力YOLO11，添加一个微小物体的检测头暴力提升小目标检测性能
YOLOv11改进策略【模型轻量化】| 替换骨干网络 CVPR-2023 FasterNet 高效快速的部分卷积块
Limiiiing的博客
10-20 927
本文记录的是基于FasterNet的YOLOv11轻量化改进方法研究。FasterNet的网络结构借鉴 CNN 的设计理念，通过提出的PConv减少推理时的计算和内存成本，同时减少通道数并增加部分比例，降低延迟，并通过后续的PWConv来弥补特征信息可能缺失的问题，提高了准确性。本文在替换骨干网络中配置了原论文中的和六种模型，以满足不同的需求。
EfficientVit实现轻量化改进YOLOV8：级联分组注意力模块的全新实时网络架构#重塑实时物体检测的未来
CDBmax的博客
12-28 4080
文章提供了YOLOv8-EfficientViT项目的源代码，分为六个主要部分，每部分都有详细的中文注释，有助于读者更好地理解和应用。此外，文章还汇总了一系列有关EfficientViT和YOLOv8的研究论文、GitHub代码库、论文解析等资源链接，供读者参考和深入研究。
RK3588芯片NPU的使用：yolov8-pose例子图片检测在安卓系统部署与源码深度解析（rknn api）
懒人的技术笔记
04-25 1515
该方法对检测模型的输出进行后处理，包括 检测框解码、置信度过滤、非极大值抑制（NMS）以及关键点坐标映射，最终输出人体检测框和对应的关键点信息，封装在object_detect_result_list中。SDK支持的查询命令很多，具体参考官方文档：04_Rockchip_RKNPU_API_Reference_RKNNRT_V2.3.0_CN.pdf。：用于 RKNN_QUERY_IN_OUT_NUM 命令的返回结果，存储模型的输入/输出张量数量。没什么好说的，输入设置完毕后，执行模型推理。
YOLO12改进-模块-引入HaloNet 局部自注意力HaloNet local self-attention 自注意力机制轻量化
qq_64693987的博客
04-28 644
分块局部自注意力（Blocked Local Self-Attention）该方法将计算复杂度从 O (N²) 降至 O (B²)，同时通过 Halo 区域实现跨块信息传递，平衡了局部细节与全局上下文。分块策略：将图像划分为 B×B 的非重叠块，每个块作为查询区域（Query Block）。Halo 区域扩展：每个查询块周围扩展 H×H 的 Halo 区域，形成 (B+2H)×(B+2H) 的邻域块（Key/Value Block）。Halo 区域允许相邻块的信息交互，扩大感受野。注意力计算。
Yolov8导出onnx显示每层输出shape的方法
qq_44908396的博客
04-28 186
文章展示了为onnx模型增加每层输出张量shape的方法
基于YOLO的瓷砖缺陷检测系统设计与实现（附数据集+源码）
最新发布
qq_36224726的博客
04-29 692
本文实现的系统展示了深度学习与传统工业检测结合的强大潜力。通过YOLO算法的高精度检测能力，配合精心设计的GUI界面，为制造业质量管控提供了可靠的技术工具。
推荐几个基于Transformer编码器的语义分割模型，近四年
03-16
<think>嗯，用户现在想要我推荐一些基于Transformer编码器的语义分割模型，而且要求是近四年内的。首先，我得确认用户的背景和需求。可能用户是从事计算机视觉相关的研究或者工程，特别是语义分割任务。他们可能已经了解了一些传统的CNN模型，比如U-Net，但现在想探索结合Transformer的方法，因为Transformer在NLP中的成功也影响到了CV领域。 接下来，我需要回忆近几年（2020-2023）的相关模型。首先，SegFormer应该是一个不错的选择，2021年的，它使用了混合Transformer编码器和轻量级解码器。然后是SETR，2021年CVPR的，用ViT作为编码器，处理图像为序列。还有MaskFormer，2021年的，将分割视为掩膜预测问题，结合了Transformer。Swin-Unet是2022年的，基于Swin Transformer，可能也是候选之一。Segmenter，ICCV 2021，直接使用ViT并引入类别嵌入。DPT，2021年，用于密集预测任务，可能也适用于分割。另外，还有HRFormer，2022年的，结合高分辨率特征和Transformer。可能还有最新的模型，比如2023年的SAM（Segment Anything Model），不过这个主要是分割一切，可能更偏向于通用分割，但也可以考虑。 需要检查每个模型的时间，确保都在近四年内。比如，现在2023年的话，2020年及之后的模型都符合。但用户可能希望更近的，比如2021到2023。然后，每个模型的亮点需要简要说明，比如结构创新、性能提升、应用领域等。 用户可能还需要了解这些模型的特点、适用的场景以及开源实现的情况，方便他们进一步研究和应用。比如，SegFormer的轻量级解码器适合实时应用，SETR适合处理长距离依赖，Swin-Unet的层次化结构适合医学图像等。 另外，用户可能对模型的输入类型也有要求，比如是否支持2D或3D数据，但之前的对话中用户问过TransBTS处理2D数据的问题，所以可能现在关注的还是2D的语义分割模型。不过需要确认推荐的模型是否都是处理2D的，如果是3D的可能需要特别说明，但根据问题，用户应该需要2D的。 还要注意推荐的模型是否有开源代码，比如在GitHub上是否有官方实现，这对用户来说很重要，方便复现和使用。比如SegFormer和Swin-Unet都有开源代码，DPT由Intel开源，SAM由Meta开源等。 最后，总结时可能需要提到选择模型的考虑因素，比如计算资源、数据规模、任务需求等，帮助用户根据实际情况选择最合适的模型。</think>以下是2020-2023年基于Transformer编码器的语义分割模型推荐，按技术亮点分类： --- ### 一、**纯Transformer架构** #### 1. **SETR** (CVPR 2021) - **核心思想**：将图像切分为16x16块序列，用ViT编码器建模全局上下文 - **亮点**： - 首个用标准Transformer实现语义分割的模型 - 提出多级特征融合解码器 (Naive/Progressive/MLA) - **代码**：[GitHub](https://github.com/fudan-zvg/SETR) - **适用场景**：需要长距离依赖建模的高分辨率图像 #### 2. **Segmenter** (ICCV 2021) - **核心公式**： $$ \text{分割结果} = \text{类别嵌入} \cdot \text{ViT特征图}^T $$ - **创新点**：直接通过点积生成分割掩膜，无需复杂解码器 - **性能**：在ADE20K上mIoU达52.7%（512x512输入） --- ### 二、**CNN-Transformer混合架构** #### 3. **TransUNet** (CVPR 2021) - **结构特点**： ```mermaid graph LR CNN编码器 --> Transformer --> 跳跃连接解码器 ``` - **优势**：保留CNN局部特征提取能力，用Transformer增强全局建模 - **医疗应用**：胰腺CT分割任务DSC达82.5% #### 4. **HRFormer** (NeurIPS 2022) - **关键技术**： - 并行多分辨率Transformer分支 - 跨分辨率特征交互模块 - **速度/精度平衡**：512x512输入下68 FPS，Cityscapes mIoU 83.2% - **开源地址**：[GitHub](https://github.com/HRNet/HRFormer) --- ### 三、**高效轻量型** #### 5. **SegFormer** (NeurIPS 2021) - **设计亮点**： - 混合尺寸窗口注意力（降低计算复杂度） - 轻量级全MLP解码器 - **计算效率**：在Cityscapes上达81.3% mIoU，仅需35G FLOPs - **代码库**：[GitHub](https://github.com/NVlabs/SegFormer) #### 6. **DPT** (ICCV 2021) - **创新点**：利用Vision Transformer多尺度特征 $$ \text{输出} = \sum_{i=1}^N \text{上采样}( \text{线性投影}( \text{ViT第i层特征} )) $$ - **应用**：联合支持深度估计与语义分割 - **官方实现**：[GitHub](https://github.com/isl-org/DPT) --- ### 四、**新兴方向** #### 7. **MaskFormer** (NeurIPS 2021) - **范式突破**：将分割任务转化为掩膜分类问题 $$ \text{预测} = \{ (c_k, M_k) \}_{k=1}^K $$ - **优势**：统一处理语义/实例/全景分割 - **参数量**：Base版约60M参数 #### 8. **SAM** (Segment Anything Model) (2023) - **技术革命**： - 1100万图像、10亿掩膜预训练 - 支持零样本迁移 - **局限**：通用性强但特定领域精度需微调 - **项目地址**：[GitHub](https://github.com/facebookresearch/segment-anything) --- ### 五、模型选择建议 | 需求场景 | 推荐模型 | 硬件要求 | |-----------------------|-------------------|----------------| | 医疗影像分割 | TransUNet | 单卡RTX 3090 | | 实时边缘计算 | SegFormer-B0 | Jetson Xavier | | 多任务联合学习 | DPT | 多卡并行 | | 开放域通用分割 | SAM + 微调 | A100集群 | --- ### 关键论文列表 1. SETR: ["Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective"](https://arxiv.org/abs/2012.15840) 2. MaskFormer: ["Per-Pixel Classification is Not All You Need for Semantic Segmentation"](https://arxiv.org/abs/2107.06278) 3. SAM: ["Segment Anything"](https://arxiv.org/abs/2304.02643) 建议根据具体任务需求选择：**需要实时性优先SegFormer，强调整体一致性选SETR，零样本能力必选SAM**。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值