YOLOv8改进策略【注意力机制篇】| ICCV2023 聚焦线性注意力模块 Focused Linear Attention 聚焦能力与特征多样性双重提升，含二次创新

已于 2025-01-06 14:28:02 修改
阅读量81 收藏
点赞数
分类专栏： YOLOv8改进专栏 文章标签： YOLO 深度学习 计算机视觉 目标检测
于 2024-12-26 15:16:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42591591/article/details/144744031
版权

一、本文介绍

本文记录的是利用Focused Linear Attention聚焦线性注意力模块优化YOLOv8的目标检测网络模型。Focused Linear Attention module的作用在于同时解决了线性注意力的焦点能力不足和特征多样性受限的问题，克服了常见线性注意力方法存在性能下降或引入额外计算开销。本文将其加入到YOLOv8中，进一步发挥其性能。

专栏目录：YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：YOLOv8改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

文章目录

了解本专栏 订阅专栏 解锁全文
RT-DETR算法改进：超多种主干网络改进，包括CNN和Transformer多种核心网络结构
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-13 1036
RT-DETR算法改进｜超多种Backbone、CNN和Transformer核心网络结构合集
RT-DETR最新结构改进：首发最新改进，极简高效，改进升级版UniRepLKNet(博客内附源代码)，适用于图像识别，即插即用打破性能瓶颈
包括YOLOv5、YOLOv7、YOLOv8等模型改进
12-01 1094
RT-DETR最新Backbone结构改进：UniRepLKNet
RT-DETR算法改进：更换损失函数XIoU损失函数，相比较CIoU改进涨点，YOLO改进Trick，提升网络模型性能、收敛速度和鲁棒性，提升RT-DETR检测精度
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-20 920
RT-DETR算法改进 | 更换损失函数XIoU损失函数
YOLO/RtDETR改进创新
llz19670的博客
07-22 679
随着Mamba在序列建模上的效果，Mamba进入到了视觉任务，在视觉任务中主要是采用双向的SSM结构，在YOLO或者是RTDETR中有一个C2F结构，在yolov10中修改成了C2f-CIB结构，这里的创新是将CIB替换了原先的Bottleneck块，同样的我们做的一个工作是使用Mamba2中的SSD模块替换CIB从而将C2fCIB改为了我们的C2f-SSD模块。
【RT-DETR有效改进】轻量级下采样方法ContextGuided（参数量下降700W，轻量又涨点）
Snu77的博客
02-06 5729
本文给大家带来的是改进机制是一种替换Conv的模块，其是在CGNet论文中提出的一种模块，其基本原理是模拟人类视觉系统依赖上下文信息来理解场景。CG block 用于捕获局部特征、周围上下文和全局上下文，并将这些信息融合起来以提高准确性。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，本专栏的改进内容全网独一份深度改进RT-DETR非那种无效Neck部分改进，同时本文的改进也支持主干上的即插即用，本文内容也支持PP-HGNetV2版本的修改。
YOLOv11改进策略【注意力机制篇】| ICCV2023 聚焦线性注意力模块 Focused Linear Attention 聚焦能力与特征多样性双重提升，含二次创新
Limiiiing的博客
10-30 513
本文记录的是利用聚焦线性注意力模块优化的目标检测网络模型。的作用在于同时解决了线性注意力的焦点能力不足和特征多样性受限的问题，克服了常见线性注意力方法存在性能下降或引入额外计算开销。本文将其加入到v11中，进一步发挥其性能。FLatten Transformer: Vision Transformer using Focused Linear Attention基于上述分析，结构如下： O=Sim(Q,K)V=ϕp(Q)ϕp(K)TV+DWC(V)O = Sim(Q, K)V=\phi_p(Q)\phi_p
RT-DETR改进策略【注意力机制篇】| ICCV2023 聚焦线性注意力模块 Focused Linear Attention 聚焦能力与特征多样性双重提升，含二次创新
Limiiiing的博客
11-30 391
一、本文介绍 本文记录的是利用Focused Linear Attention聚焦线性注意力模块优化RT-DETR的目标检测网络模型。Focused Linear Attention module的作用在于同时解决了线性注意力的焦点能力不足和特征多样性受限的问题，克服了常见线性注意力方法存在性能下降或引入额外计算开销。本文将其加入到RT-DETR中，进一步发挥其性能。 文章目录一、本文介绍二、聚焦线性注意力模块介绍2.1 设计出发点2.2 原理2.2.1 焦点能力（Focus ability）原理2.2.2
YOLOv10改进策略【注意力机制篇】| ICCV2023 聚焦线性注意力模块 Focused Linear Attention 聚焦能力与特征多样性双重提升，含二次创新
Limiiiing的博客
11-04 999
本文记录的是利用聚焦线性注意力模块优化的目标检测网络模型。的作用在于同时解决了线性注意力的焦点能力不足和特征多样性受限的问题，克服了常见线性注意力方法存在性能下降或引入额外计算开销。本文将其加入到中，进一步发挥其性能。FLatten Transformer: Vision Transformer using Focused Linear Attention基于上述分析，结构如下： O=Sim(Q,K)V=ϕp(Q)ϕp(K)TV+DWC(V)O = Sim(Q, K)V=\phi_p(Q)\phi_p(K)
YOLOv12改进策略【注意力机制篇】| ICCV2023 聚焦线性注意力模块 Focused Linear Attention 聚焦能力与特征多样性双重提升，含二次创新
最新发布
Limiiiing的博客
03-08 39
本文记录的是利用聚焦线性注意力模块优化的目标检测网络模型。的作用在于同时解决了线性注意力的焦点能力不足和特征多样性受限的问题，克服了常见线性注意力方法存在性能下降或引入额外计算开销。本文将其加入到中，进一步发挥其性能。FLatten Transformer: Vision Transformer using Focused Linear Attention基于上述分析，结构如下： O=Sim(Q,K)V=ϕp(Q)ϕp(K)TV+DWC(V)O = Sim(Q, K)V=\phi_p(Q)\phi_p(K)
RT-DETR改进|爆改模型|涨点|使用VMamba作为骨干网络（附代码+修改教程）
m0_51665349的博客
10-09 4525
本文修改的模型是RT-DETR，在原本的RT-DETR中，使用ResNet作为骨干网络，本文使用最新的VMamba（Visual State Space Model）替换ResNet作为RT-DETR的骨干网络。VMamba是一种全新的视觉框架，VMamba结合了CNNs和ViTs的优势，同时优化了计算效率，能够在保持全局感受野的情况下实现线性复杂度。
【RT-DETR有效改进】利用YOLOv9的GELAN模块替换RepC3结构（附轻量化版本 + 高效涨点版本 + 手撕结构图）
Snu77的博客
02-24 3389
本文给大家带来的改进机制是利用2024/02/21号最新发布的YOLOv9其中提出的GELAN模块来改进RT-DETR的RepC3结构，GELAN融合了CSPNet和ELAN机制同时其中利用到了RepConv在获取更多有效特征的同时在推理时专用单分支结构从而不影响推理速度，同时本文的内容提供了两种版本一种是参数量更低涨点效果略微弱一些的版本（参数量V8n下降80w，计算量为6.1GFLOPs），另一种是参数量稍多一些但是效果要不参数量低的效果要好一些（均为我个人整理），提供两种版本是为了适配不同需求的读者，
【RT-DETR有效改进】结合SOTA思想利用双主干网络改进RT-DETR（全网独家创新，重磅更新）
Snu77的博客
03-04 7335
本文给大家带来的改进机制是结合目前SOTAYOLOv9的思想利用双主干网络来改进YOLOv8（本专栏目前发布以来改进最大的内容，同时本文内容为我个人一手整理全网独家首发 | 就连V9官方不支持的模型宽度和深度修改我都均已提供，本文内容支持RT-DETR全系列模型均可使用，本文的内容超级适合想要发表论文的读者创新性不够，工作量不够的，本文的改进在感官上给人就有一种工作量多和创新点十足的感觉，同时本专栏内容以后均采用NEU-DET数据集进行对比实验模型（避免大家质疑数据集质量的问题），本文内容为独家整理！。
【RT-DETR有效改进】InnerIoU思想结合传统 EIoU、SIoU、WIoU损失思想（小目标涨点效果明显）
Snu77的博客
11-28 3840
本文给大家带来的是RT-DETR最新改进，为大家带来最近新提出的InnerIoU的内容同时用Inner的思想结合SIoU、WIoU、GIoU、DIoU、EIOU、CIoU等损失函数，形成 InnerIoU、InnerSIoU、InnerWIoU、等新版本损失函数，同时还结合了AIpha思想，形成的新的损失函数，其中Inner的主要思想是：引入了不同尺度的辅助边界框来计算损失，(该方法在处理非常小目标的检测任务时表现出良好的性能(但是在其它的尺度检测时也要比普通的损失要好)。
YOLOv8改进 | 主干篇 | 2024.5全新的移动端网络MobileNetV4改进YOLOv8（含MobileNetV4全部版本改进）
Snu77的博客
05-08 8402
本文给大家带来的改进机制是MobileNetV4，MobileNetV4是一种高度优化的神经网络架构，专为移动设备设计。它最新的改动总结主要有两点，采用了通用反向瓶颈（UIB）和针对移动加速器优化的Mobile MQA注意力模块（一种全新的注意力机制）。这些创新有助于在不牺牲准确性的情况下，显著提高推理速度和计算效率。MobileNetV4作为一种移动端的网络，其实它的论文中主要是配合蒸馏技术进行改进，大家可以搭配本专栏的蒸馏进行二次创新涨点。
RT-DETR改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT，增强空间信息的感知能力
Limiiiing的博客
01-22 453
RMT模型是一种具有显式空间先验的视觉骨干网络，旨在解决中自注意力机制存在的问题。
RT-DETR改进策略：BackBone改进|PoolFormer赋能RT-DETR，视觉检测性能显著提升的创新尝试
m0_47867638的博客
09-25 555
在深度学习的广阔领域中，目标检测作为计算机视觉的基石任务之一，始终吸引着研究者的广泛关注。近期，我们大胆尝试将前沿的PoolFormer主干网络引入经典的目标检测框架RT-DETR中，这一创新性融合不仅为RT-DETR注入了新的活力，更在检测精度与效率上实现了双重飞跃，成为目标检测领域的一股强劲新风。PoolFormer，作为MetaFormer家族的一员，以其独特的池化注意力机制脱颖而出。
RT-DETR改进策略：双动态令牌混合器（D-Mixer）的TransXNet，实现RT-DETR的有效涨点
m0_47867638的博客
12-13 2237
这段文字主要讨论了计算机视觉中的两种模型：Vision Transformer (ViT) 和 Swin Transformer。ViT使用多头自注意力（MHSA）进行长距离建模，取得了显著的进展，但由于其自身没有固有地编码归纳偏置，因此相对于卷积神经网络（CNN），其泛化能力较弱。为了解决这一限制，Swin Transformer引入了移位窗口自注意力，这种结构既引入了归纳偏置，又降低了MHSA的计算成本。但由于Swin Transformer是基于窗口的局部性质，其感受野有限。
YOLOv9改进策略【注意力机制篇】| 添加SE、CBAM、ECA、CA、Swin Transformer等注意力和多头注意力机制
Limiiiing的博客
08-22 2167
这篇文章带来一个经典注意力模块的汇总，虽然有些模块已经发布很久了，但后续的注意力模块也都是在此基础之上进行改进的，对于初学者来说还是有必要去学习了解一下，以加深对模块，模型的理解。
RT-DETR改进策略：BackBone改进|CAFormer在RT-DETR中的创新应用，显著提升目标检测性能
m0_47867638的博客
10-09 736
在目标检测领域，模型性能的提升一直是研究者和开发者们关注的重点。近期，我们尝试将CAFormer模块引入RT-DETR模型中，以替换其原有的主干网络，这一创新性的改进带来了显著的性能提升。CAFormer，作为MetaFormer框架下的一个变体，结合了深度可分离卷积和普通自注意力机制的优势。在底层阶段，CAFormer采用深度可分离卷积作为令牌混合器，有效降低了计算复杂度并保持了良好的性能；而在顶层阶段，则引入普通的自注意力机制，以更好地捕获长距离依赖性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值