YOLOv9改进策略【注意力机制篇】| 引入MobileNetv4中的Mobile MQA，提高模型效率

已于 2024-09-20 15:33:14 修改
阅读量1.4k 收藏 15
点赞数 42
分类专栏： YOLOv9改进专栏 文章标签： YOLO 计算机视觉 深度学习 目标检测
于 2024-08-25 12:12:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42591591/article/details/140667578
版权

一、本文介绍

本文记录的是基于Mobile MQA模块的YOLOv9目标检测改进方法研究。MobileNetv4中的Mobile MQA模块是用于模型加速，减少内存访问的模块，相比其他全局的自注意力，其不仅加强了模型对全局信息的关注，同时也显著提高了模型效率。

专栏目录：YOLOv9改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进方向

专栏地址：YOLOv9改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

文章目录

了解本专栏 订阅专栏 解锁全文
Limiiiing
关注
专栏目录
订阅专栏
深度学习论文: MobileNetV4 - Universal Models for the Mobile Ecosystem及其PyTorch实现
mingo_敏
04-24 3189
专为移动设备设计的高效架构MobileNetV4（MNv4）核心在于引入了通用倒置瓶颈（UIB）搜索块和Mobile MQA注意力块，前者融合了多种技术，后者针对移动加速器优化，可大幅提升速度。同时采用了优化的神经架构搜索（NAS）方案。这一系列创新使得MNv4模型在多种设备上实现帕累托最优。此外，还引入了一种新的知识蒸馏技术，提高了模型的准确性。最终，MNv4-Hybrid-Large模型在ImageNet-1K上达到87%的准确率，同时在Pixel 8 EdgeTPU上的运行时间极短。
MobileNetV4——移动生态系统的通用模型
AI浩
04-26 2200
论文链接：https://arxiv.org/pdf/2404.10518我们推出了最新一代的MobileNets，称为MobileNetV4（MNv4），其特点是为移动设备提供普遍高效的架构设计。在核心部分，我们引入了通用倒置瓶颈（UIB）搜索块，这是一种统一且灵活的结构，融合了倒置瓶颈（IB）、ConvNext、前馈网络（FFN）以及新型Extra Depthwise（ExtraDW）变体。
YOLOv8改进 | 主干篇 | 2024.5全新的移动端网络MobileNetV4改进YOLOv8（含MobileNetV4全部版本改进）
Snu77的博客
05-08 5734
本文给大家带来的改进机制是MobileNetV4，MobileNetV4是一种高度优化的神经网络架构，专为移动设备设计。它最新的改动总结主要有两点，采用了通用反向瓶颈（UIB）和针对移动加速器优化的Mobile MQA注意力模块（一种全新的注意力机制）。这些创新有助于在不牺牲准确性的情况下，显著提高推理速度和计算效率。MobileNetV4作为一种移动端的网络，其实它的论文中主要是配合蒸馏技术进行改进，大家可以搭配本专栏的蒸馏进行二次创新涨点。
【读点论文】MobileNetV4 - Universal Models for the Mobile Ecosystem，用屋顶线探索硬件极限，提升计算效率和精度平衡点
白水空空
05-07 1689
具体而言，MNv4-Conv-M模型比MobileOne-S4和FastViT-S12都快50%以上，同时在相当的延迟下，也比MobileNet V2将Top-1的准确性提高了1.5%。值得注意的是，我们使用现代训练配方增强了MobileNet系列（V1、V2、V3），从而大幅提高了准确性：MobileNet V1的准确率提高了3.4%，达到74.0%，V2的准确率增加了1.4%，达到73.4%，V3的准确率增加了0.3%，达到75.5%。FC层和DW-Conv2D在低RP下是便宜的，在高RP下是昂贵的。
YoloV9改进策略：主干网络篇|MobileNetV4主干替换YoloV9的BackBone（独家原创）
m0_47867638的博客
06-09 1338
今年，轻量级王者MobileNetV4闪亮登场！在我们这篇文章里，我们把MobileNetV4加入到了YoloV9中，对MobileNetV4的层数和卷积层核做了适当的修改，然后替换原有的BackBone。哈哈，你猜怎么着？效果超赞！文章里详细记录了改进过程，给那些正在为创新点子发愁的小伙伴们提供了满满的灵感。嘿，想要发表关于轻量级改进的论文？这篇文章绝对是你的首选参考！
YoloV8改进策略：主干网络篇|MobileNetV4主干替换YoloV8的BackBone（独家原创）
m0_47867638的博客
06-08 1763
今年，轻量级王者MobileNetV4闪亮登场！在我们这篇文章里，我们把MobileNetV4加入到了YoloV8中，替换原有的BackBone。哈哈，你猜怎么着？效果超赞！文章里详细记录了改进过程，给那些正在为创新点子发愁的小伙伴们提供了满满的灵感。嘿，想要发表关于轻量级改进的论文？这篇文章绝对是你的首选参考！
YOLOv10改进 | 主干篇 | YOLOv10引入MobileNetV4
tsg6698的博客
06-16 915
在其核心，我们引入了通用倒瓶颈（UIB）搜索块，这是一种统一且灵活的结构，融合了倒瓶颈（IB）、ConvNext、前馈网络（FFN）和新颖的额外深度（ExtraDW）变体。Mobile MQA是MNv4的另一个关键组件，这是一个为移动加速器量身定制的注意力块，提供了超过39%的推理加速。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv10改进 | 主干/Backbone篇 | 2024.5全新的移动端网络MobileNetV4改进YOLOv10（含MobileNetV4全部版本改进）
Snu77的博客
07-14 751
本文给大家带来的改进机制是，其发布时间是2024.5月。MobileNetV4是一种高度优化的神经网络架构，专为移动设备设计。它最新的改动总结主要有两点采用了通用反向瓶颈（UIB）和针对移动加速器优化的Mobile MQA注意力模块（一种全新的注意力机制）。这些创新有助于在不牺牲准确性的情况下，显著提高推理速度和计算效率。MobileNetV4作为一种移动端的网络，其实它的论文中主要是配合蒸馏技术进行改进，大家可以搭配本专栏的蒸馏进行二次创新涨点。欢迎大家订阅我的专栏一起学习YOLO！
YOLOv8改进 | 主干篇 | YOLOv8引入MobileNetV4
tsg6698的博客
08-31 617
在其核心，我们引入了通用倒瓶颈（UIB）搜索块，这是一种统一且灵活的结构，融合了倒瓶颈（IB）、ConvNext、前馈网络（FFN）和新颖的额外深度（ExtraDW）变体。Mobile MQA是MNv4的另一个关键组件，这是一个为移动加速器量身定制的注意力块，提供了超过39%的推理加速。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv8改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
皮肤病检测-目标检测数据集（包括VOC格式、YOLO格式）
DL_data_set的博客
09-25 1092
皮肤病检测数据集，目标检测，yolo，voc，复杂背景
YOLOv7改进之MAE主干： 超强ConvNeXtV2 升级版结构，当MAE+YOLO卷积高效涨点
qq_53545309的博客
09-27 134
在改进的架构和更好的表示学习框架的推动下，视觉识别领域在 2020 年代初期实现了快速的现代化和性能提升。例如，以 ConvNeXt [52] 为代表的现代 ConvNet 在各种场景中都表现出了强大的性能。虽然这些模型最初是为使用 ImageNet 标签的监督学习而设计的，但它们也有可能受益于自我监督学习技术，例如掩码自动编码器 （MAE） [31]。然而，我们发现，简单地将这两个 ap proaches 结合起来会导致性能不佳。
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
最新发布
GIS潮流
09-30 950
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
基于yolov5滑块识别破解（二）
qq_65960840的博客
09-25 535
在上一篇文章中我们已经完成了yolov5的部署和训练，接下来我们将对源码进行改动，来实现滑块的自动滑动破解。
YOLOv8训练中常见问题汇总
m0_57442556的博客
09-24 429
YOLOv8训练中常见问题汇总
YOLOv9改进 | 主干改进篇，华为的轻量化架构GhostNetV2改进特征提取网络
weixin_44779079的博客
09-26 227
GhostNetV2 架构通过引入DFC 注意力，提升了网络的表达能力，同时保持了在移动设备上的高效性。DFC 注意力机制使用两个解耦的全连接层来处理特征图的水平和垂直方向。通过将输入特征图沿水平方向和垂直方向进行特征聚合，DFC注意力机制能够捕捉到全局信息，并提升模型的表达能力
基于丹摩智算的`YoloV8-训练与测试
2301_77509762的博客
09-25 628
链接：https://www.damodel.com/console/overviewDAMODEL（丹摩智算）是专为 AI 打造的智算云，致力于提供丰富的算力资源与基础设施助力 AI 应用的开发、训练、部署。自YOLO（You Only Look Once）模型问世以来，其简洁的设计理念和高效的目标检测能力便广受好评。YOLO系列模型通过一次卷积神经网络的前向传播，即可同时预测图像中多个物体的位置和类别，极大地提高了目标检测的速度和效率。
ultralytics yolo v8 示例：加载官方模型进行推理
Eric.Lee的博客
09-29 290
ultralytics yolo v8 示例：加载官方模型进行推理
通用多媒体查询代数MQA的设计与实现
因此，MQA的提出旨在填补这一空白，它能够处理UMQL中的结构表达式、特征表示式和时空表达式，确保了与UMQL的一致性，并提高了处理效率。 MQA查询代数的操作集包括： 1. **常规选择**：这一操作用于基于传统属性值...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值