YOLOv9独家改进：一种高效移动应用的卷积加性自注意Vision Transformer

最新推荐文章于 2024-11-06 10:43:24 发布
最新推荐文章于 2024-11-06 10:43:24 发布
阅读量354 收藏
点赞数 6
分类专栏： YOLOv9魔术师 文章标签： YOLO transformer 深度学习 开发语言 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63774211/article/details/141720684
版权
YOLOv9魔术师 专栏收录该内容
99 篇文章 85 订阅 ¥199.90 ¥299.90
订阅专栏

💡💡💡本文独家改进：轻量化改进之高效移动应用的卷积加性自注意Vision Transformer，构建了一个新颖且高效实现方式——卷积加性相似度函数，并提出了一种名为卷积加性标记混合器（CATM） 的简化方法来降低计算开销

 《YOLOv9魔术师专栏》将从以下各个方向进行创新：

【原创自研模块】【多组合点优化】【注意力机制】【卷积魔改】【block&多尺度融合结合】【损失&IOU优化】【上下采样优化 】【SPPELAN & RepNCSPELAN4优化】【小目标性能提升】【前沿论文分享】【训练实战篇】

订阅者通过添加WX: AI_CV

了解本专栏 订阅专栏 解锁全文
YOLOv5独家改进：一种高效移动应用的卷积加性自注意Vision Transformer
08-31 124
并提出了一种名为卷积加性标记混合器（CATM） 的简化方法来降低计算开销
YOLOv10独家改进：轻量化改进 | 高效移动应用的卷积加性自注意Vision Transformer
08-31 599
轻量化改进之高效移动应用的卷积加性自注意Vision Transformer
YOLOv8独家改进：轻量化改进 | 高效移动应用的卷积加性自注意Vision Transformer
08-29 799
高效移动应用的卷积加性自注意Vision Transformer
CAS-ViT: 高效移动应用的卷积加性自注意Vision Transformer
u014546828的博客
08-09 1207
Vision Transformer（ViTs）是一种在神经网络领域取得了革命性进展的模型，它通过标记混合器（token mixer）强大的全局上下文能力，实现了对图像分类、目标检测、实例分割和语义分割等多个视觉任务的高效处理。然而，在资源受限场景和移动设备等实时应用中，成对的标记亲和力（token affinity）和复杂的矩阵运算限制了ViTs的部署。CATM模块用于实现高效的自注意力；：定义了一种新的加性相似性函数，该函数通过直接对Query（Q）和Key（K）的上下文分数求和来计算相似度，即。
CAS-ViT：面向高效移动应用的卷积加性自注意力视觉Transformer
m0_47867638的博客
08-15 881
作为视觉Transformer的关键组件，自注意力机制可以有效地捕获不同位置之间的关系。给定一个输入x∈RN×dx∈RN×d，如图2(a)所示，其中包含NNN个标记，每个头内部有ddd维嵌入向量。自注意力可以通过相似度函数Sim⁡QKexp⁡QK⊤dSimQKexpQK⊤d​OSoftmax⁡QK⊤dVOSoftmaxd​QK⊤​V。
SwiftFormer：高效加性注意用于基于Transformer的实时移动端视觉应用
yorkhunter的博客
06-10 1279
23年7月来自阿联酋、韩国、瑞典和美国多家机构的论文“SwiftFormer: Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications“。
YOLOv11/10/8算法改进【NO.147】引入卷积加法自注意力视觉变压器实现高效的移动应用程序——一种新的加法模拟larity 函数
m0_70388905的博客
10-27 279
一种新的加法模拟larity 函数遵循此范式并呈现名为 Convolutional Additive Token 的 cient 实现混频器 （CATM）。这种简化导致了显著的计算开销中的归纳。
YoloV8改进策略：主干网络改进|CAS-ViT在YoloV8中的创新应用与显著性能提升
m0_47867638的博客
08-27 653
在深度学习与计算机视觉领域，模型效率与性能之间的平衡一直是研究者和开发者关注的焦点。特别是在实时检测与识别任务中，如YoloV8这类高效的目标检测模型，其主干网络的选择对整体性能具有决定性作用。近期，我们通过将CAS-ViT（卷积加性自注意力视觉Transformer）创新性地引入到YoloV8中，替换其原有的主干网络，实现了令人瞩目的性能提升，这一改进不仅彰显了CAS-ViT的强大潜力，也为YoloV8的进一步优化开辟了新路径。
CAS-ViT实战：使用CAS-ViT实现图像分类任务（一）
m0_47867638的博客
08-21 1331
EMA是一种加权移动平均技术，其中每个新的平均值都是前一个平均值和当前值的加权和。在深度学习中，EMA被用于模型参数的更新，以减缓参数在训练过程中的快速波动，从而得到更加平滑和稳定的模型表现。
YOLOv8独家改进：一种新颖的可扩张残差（DWR）注意力模块，增强多尺度感受野特征，助力小目标检测
11-06 2644
一种新颖的可扩张残差（DWR）注意力模块，加强不同尺度特征提取能力，创新十足，独家首发适合科研
YOLOv8全网独家改进: 小目标 | CAMixing:卷积-注意融合模块和多尺度提取能力 | 2024年4月最新成果
04-02 2238
红外小目标实现涨点，只有几个像素的小目标识别率提升明显
YOLOv8全网独家改进: 小目标 | 注意力 |卷积和注意力融合模块(CAFMAttention) | 2024年4月最新成果
04-02 3263
卷积和注意力融合模块(CAFMAttention)，增强对全局和局部特征的提取能力，2024年最新的改进思路
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 10万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-06 3万+
大家好！欢迎阅读本专栏。本专栏涵盖了YOLO8中C2f、主干网络、检测头、注意力机制、Neck等多种结构的创新，同时也包括了 YOLO相关的基础知识以及相关项目。
【天线＆运输】交通事故严重程度检测系统源码＆数据集全套：改进yolo11-HSFPN
m0_73650442的博客
11-02 1066
本项目数据集信息介绍本项目所使用的数据集名为“SEVERITY-ACCIDENT-DETECTION -FINALIZED”，旨在为改进YOLOv11的交通事故严重程度检测系统提供高质量的训练数据。该数据集包含三种主要类别，分别为“moderate-accident”（中等严重事故）、“object-accident”（物体事故）和“severe-accident”（严重事故）。
YOLOv6-4.0部分代码阅读笔记-effidehead.py
m0_58169876的博客
11-03 289
【代码】YOLOv6-4.0部分代码阅读笔记-effidehead.py。
【数据集】【YOLO】【目标检测】口罩佩戴识别数据集 1971 张，YOLO佩戴口罩检测算法实战训练教程！
最新发布
kyriehan的博客
11-06 947
【数据集】【YOLO】【目标检测】口罩佩戴识别数据集 1971 张，YOLO佩戴口罩检测算法实战训练教程！ 数据集中包含1种分类：{'0': 'face_mask'}，佩戴口罩。 数据集来自国内外图片网站和视频截图。 检测场景为城市街道、医院、商场、机场、车站、办公大楼、施工地等人员密集的场所人员口罩佩戴检测，可用于智慧城市、智慧园区、智慧医疗等，服务于保护人员安全、疫情防控工作。 数据集当中含有626张负样本数据，内容是不戴口罩的人脸图像数据，方便模型进行区分识别。
＜项目代码＞YOLOv8 夜间车辆识别＜目标检测＞
qq_53332949的博客
10-29 763
YOLOv8 夜间车辆识别项目代码
YOLOv8模型改进 第十八讲 添加CMUNeXt Block 提升小目标检测
qq_64693987的博客
11-06 843
1. 深度卷积：采用大核的深度卷积（depthwise convolution）操作，组数等于通道数，用于提取每个通道的全局信息，之后有一个残差连接（residual connection）。2. 逐点卷积（第一次）：接着是一个逐点卷积（pointwise convolution），核大小为 1×1。3. 逐点卷积（第二次）并倒置瓶颈设计：再经过一个逐点卷积，并且这两个逐点卷积之间有倒置瓶颈设计，即两个逐点卷积层之间的隐藏维度设置为比输入维度宽四倍，用于混合空间和通道信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI小怪兽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值