YOLOv8改进，YOLOv8添加iRMB注意力机制(反向残差注意力)

挂科边缘

已于 2024-09-21 14:36:42 修改

阅读量184

点赞数 6

分类专栏： YOLOv8改进文章标签： YOLO 目标检测 python 计算机视觉人工智能深度学习

于 2024-08-20 21:13:00 首次发布

本文链接：https://blog.csdn.net/weixin_44779079/article/details/141365578

版权

YOLOv8改进专栏收录该内容

47 篇文章 24 订阅 ¥99.90 ¥299.90

订阅专栏

在这里插入图片描述

原论文摘要

本文集中于开发用于密集预测的现代、高效、轻量级模型，同时在参数、FLOPs和性能之间进行权衡。反向残差块（IRB）是轻量级CNN的基础结构，但在基于注意力的研究中没有得到相应的重视。本文从统一的角度重新思考了轻量级基础结构，结合了高效的IRB和Transformer的有效组件，将基于CNN的IRB扩展到基于注意力的模型，并抽象出一个用于轻量级模型设计的单残差Meta Mobile Block（MMB）。遵循简单但有效的设计原则，我们推导出一个现代化的反向残差移动块（iRMB），并构建了一个仅使用iRMB的类似ResNet的高效模型（EMO）用于下游任务。

iRMB介绍

iRMB重新参考MobileNetv2中的反向残差块，并结合Transformer中的核心MHSA和FFN模块，归纳出一个通用的Meta Mobile Block（MMB），该模块采用参数化参数扩展比λ和高效操作符F来实例化不同的模块。MMB可以揭示上述三个模块的一致本质表达，并且MMB可以被视为改进的轻量级Transformer集中体，EMO只包含一个推导出的iRMB，吸收了轻量级CNN和Transformer的优势。以尽量少的核心模块，以减少模型复杂性并加速部署，达到轻量化效果。如下图左侧所示，通过对 MobileNetv2 中的 IRB 以及 Transformer 中的核心 MHSA 和 FFN 模块进行抽象，作者提出了统一的 MMB 对上述几个结构进行归纳表示，即采用扩张率λ和高效算子F来实例化不同的模块。
在这里插入图片描述
主要方法如下：
1.提出了设计高效EMO模型的标准，如可用性、统一性、有效性和效率。
2.元移动模块 (Meta Mobile Block, MMB)：提出了一个通用的元移动模块（MMB），该模块可以统一地抽象出IRB、MHSA（多头自注意力）和FFN（前馈神经网络）的核心结构。
3.反转残差移动模块 (Inverted Residual Mobile Block, iRMB)：在元移动模块的基础上，提出了一种现代的反转残差移动模块（iRMB），并基于此构建了一个ResNet样式的高效模型（EMO）。