YOLOv10独家改进：轻量化改进 | 高效移动应用的卷积加性自注意Vision Transformer

AI小怪兽

于 2024-08-31 12:50:57 发布

阅读量599

点赞数 8

分类专栏： YOLOv10魔术师文章标签： YOLO transformer 深度学习人工智能开发语言 python

本文链接：https://blog.csdn.net/m0_63774211/article/details/141707682

版权

YOLOv10魔术师专栏收录该内容

102 篇文章 118 订阅 ¥199.90 ¥299.90

订阅专栏

💡💡💡本文独家改进：轻量化改进之高效移动应用的卷积加性自注意Vision Transformer，构建了一个新颖且高效实现方式——卷积加性相似度函数，并提出了一种名为卷积加性标记混合器（CATM）的简化方法来降低计算开销

💡💡💡性能比较：计算量参数量均有一定程度降低， 8.4 GFLOPs降低至 8.0 GFLOPs

YOLOv10n summary: 385 layers, 2709380 parameters, 2709364 gradients, 8.4 GFLOPs
YOLOv10n-C2f_AdditiveBlock summary: 745 layers, 2632162 parameters, 2632146 gradients, 8.0 GFLOPs

💡💡💡如何创新到YOLOv10，结构图如下：

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

AI小怪兽

关注关注

8
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

YOLOv10涨点改进：自研检测头 | 独家创新（Partial_C_v10Detect）检测头结构创新，实现涨点

06-13

1453

独家创新（Partial_C_v10Detect）检测头结构创新，实现涨点

【YOLOv10改进实战】**【1】最全YOLO系列算法介绍：从yolov1-yolov10**

up主为在读研究生，从事cv研究4余年，绝对靠谱。

05-31

3055

YOLO的全称是“You Only Look Once”，指能够通过一次网络来完成检测任务。与先前的方案（如：RCNN系列）不同的是，YOLO是把目标检测转变为一个回归问题，利用整张图片作为网络的输入，使用单个神经网络，就可直接从完整图像上预测边界框和类别概率。YOLO（You Only Look Once）v1 是一种由 Joseph Redmon 等人在2016年提出的实时物体检测系统。它相较于传统的物体检测方法，具有显著的速度优势，并在保持较高检测精度的同时，极大地提高了效率。

参与评论您还未登录，请先登录后发表或查看评论

【YOLOv8改进】Polarized Self-Attention: 极化自注意力 ,更精细的双重注意力建模结构

专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。

04-07

1304

像素级回归可能是细粒度计算机视觉任务中最常见的问题，例如估计关键点热图和分割掩模。这些回归问题非常具有挑战性，特别是因为它们需要在低计算开销下对高分辨率输入/输出建模长距离依赖关系，以估计高度非线性的像素级语义。尽管深度卷积神经网络（DCNNs）中的注意机制已经流行起来，用于增强长距离依赖关系，但是元素特定的注意力，例如非局部块，学习起来非常复杂且对噪声敏感，而大多数简化的注意力混合体试图在多种任务类型之间达到最佳折衷。

【第23篇】NAM：基于标准化的注意力模块

AI浩

12-22

6732

摘要识别不太显着的特征是模型压缩的关键。然而，它尚未在革命性的注意力机制中进行研究。在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），它抑制了不太显着的权重。它将权重稀疏惩罚应用于注意力模块，从而使它们在保持相似性能的同时具有更高的计算效率。与 Resnet 和 Mobilenet 上的其他三种注意力机制的比较表明，我们的方法具有更高的准确性。本文的代码可以在 https://github.com/Christian-lyc/NAM 公开访问。 1 简介注意力机制是近年来的热

【YOLOv8改进 - 注意力机制】NAM：基于归一化的注意力模块，将权重稀疏惩罚应用于注意力机制中，提高效率性能

专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。

06-30

269

识别较不显著的特征是模型压缩的关键。然而，这在革命性的注意力机制中尚未被研究。在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），该模块抑制了较不显著的权重。它对注意力模块施加了权重稀疏惩罚，从而使其在保留相似性能的同时变得更具计算效率。在Resnet和Mobilenet上与其他三种注意力机制的比较表明，我们的方法可以带来更高的准确性。本文的代码可以在https://github.com/Christian-lyc/NAM公开获取。

2021刷新COCO和Cityscapes | Polarized Self-Attention：极化自注意力机制（keras实现）

u011447962的博客

08-03

3484

Polarized Self-Attention: Towards High-quality Pixel-wise Regression paper:https://arxiv.org/pdf/2107.00782.pdf code:https://github.com/DeLightCMU/PSA def _PSA(x, mode='p'): context_channel = spatial_pool(x, mode) if mode == 'p': con...

YOLOv8全网独家改进: 小目标 | 注意力 |卷积和注意力融合模块(CAFMAttention) | 2024年4月最新成果

04-02

3263

卷积和注意力融合模块(CAFMAttention)，增强对全局和局部特征的提取能力，2024年最新的改进思路

AI：242-YOLOv8轻量化主干优化 | 基于轻量卷积的PP-HGNetV2创新改进与实战应用【超级涨点】

最新发布

一键难忘的博客

08-18

3167

PP-HGNetV2是一个经过优化的轻量级主干网络，旨在平衡计算效率和检测精度。相比传统的ResNet或CSPDarknet，PP-HGNetV2在计算量上大幅降低，同时保持了较高的特征提取能力。它通过引入Hybrid Convolution (HG) 和多尺度特征融合技术，使得网络在处理不同尺寸目标时具备更强的泛化能力。

YOLOv7独家原创改进：轻量化自研设计双卷积，重新设计backbone和neck卷积结构，完成涨点且计算量和参数量显著下降

12-11

2441

双卷积由组卷积和异构卷积组成，执行 3×3 和 1×1 卷积运算代替其他卷积核仅执行 1×1 卷积，YOLOv7 Conv，从而轻量化YOLOv7-tiny

YOLOv8改进 | 主干篇 | 利用轻量化卷积优化PP-HGNetV2改进主干（全网独家创新）

Snu77的博客

12-13

7374

Hello，大家好，上一篇博客我们讲了利用HGNetV2去替换YOLOv8的主干，经过结构的研究我们可以发现在HGNetV2的网络中有大量的卷积存在，所以我们可以用一种更加轻量化的卷积去优化HGNetV2从而达到更加轻量化的效果（亲测优化后的HGNetV2网络比正常HGNetV2精度更高轻量化效果更好，非常适合轻量化的读者），同时HGNetV2的网络结构目前还没有推出论文，所以其理论知识在网络上也是非常的少，我也是根据网络结构图进行了分析，给大家进行讲解网络结构原理（亲测替换之后主干GFLOPs降低到7.4

YOLOv8改进 | 卷积模块 | 用DWConv卷积替换Conv【轻量化网络】

kay_545

05-18

2829

YOLOv8改进，yolov8，yolov8创新，yolov8涨点

轻量自高斯注意力（LSGA）机制—论文总结和代码实现

qq_45981086的博客

09-30

2662

想改进高斯注意力？这篇论文给出答案！ ——轻自高斯注意力（LSGA）机制

深入了解YOLO v7：多尺度特征融合与横向连接

牛肉胡辣汤

10-16

1705

YOLO（You Only Look Once）是一种基于深度学习的目标检测算法，由Joseph Redmon等人于2016年提出。YOLO算法具有实时性和高准确率的特点，快速地在图像中预测出目标的位置和类别。自YOLO算法提出以来，YOLO系列经历了多个版本的迭代和改进。每个版本都在原有算法的基础上提出了新的设计思路和技术方法。YOLO v2在YOLO v1的基础上引入了Anchor boxes和Darknet-19网络结构，并在准确率和速度上有所提升。

YOLOv10改进 | 注意力篇 | YOLOv10引入Polarized Self-Attention注意力机制

tsg6698的博客

06-17

422

在本文中，我们提出了偏振自注意力（PSA）模块，它结合了高质量像素级回归的两个关键设计：（1）偏振过滤：在通道和空间注意力计算中保持高内部分辨率，同时完全折叠输入张量它们的对应尺寸。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~：PSA在通道和空间注意力计算中保持高内部分辨率，同时沿着其对应的维度完全折叠输入张量。

YOLOv8改进（一）-- 轻量化模型ShuffleNetV2

qq_44231797的博客

06-02

2323

YOLOv8；ShuffleNetV2

NAM: Normalization-based Attention Module，一种新的注意力计算方式，无需额外的参数...

AI公园

12-20

4895

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”导读本文介绍了一种新的计算注意力的方式，相比于之前的注意力机制，无需额外的全连接，卷积等额外的计算和参数，直接使用BN中的缩放因此...

霸榜COCO和Cityscapes！南理工&CMU提出极化自注意力，更精细的双重注意力建模结构

极市平台的技术博客

07-15

2293

作者丨小马编辑丨极市平台【写在前面】注意力机制是一个被广泛应用在各种CV任务中的方法。注意力机制根据施加的维度大致可以分为两类：通道注意力和空间注意力。对于通道注意力机制，代表性的工作有SENet[2]、ECANet[3]；对于空间注意力机制，代表性的工作有Self-Attention[4]。随着空间和通道注意力机制的提出，很自然的，结合空间和通道两个维度的双重注意力机制也被提出，代表工作有CBAM[1]，DANet[5]。基于双重注意力机制，本文针对Pixel-wise regression的任务

论文阅读|Polarized Self-Attention

weixin_45782047的博客

03-14

9020

人体姿态估计|Polarized Self-Attention