目标检测 Lite-DETR（2023）详细解读

已于 2025-05-21 09:03:34 修改
阅读量596 收藏 7
点赞数 20
分类专栏： 目标检测 文章标签： 目标检测 人工智能 计算机视觉
于 2025-05-21 08:54:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51352130/article/details/148103262
版权

文章目录


论文翻译： CVPR 2023 | Lite DETR：计算量减少60%！高效交错多尺度编码器-CSDN博客

DINO团队的

（Lightweight Transformer for Object Detection）它是对DETR（Transformers for Object Detection）模型的一种轻量级改进，在保持模型性能的同时，成功将Encoder的计算开销减少了50%

改进的是Encoder，提出交错的多尺度Encoder，

对低层级的特征图的token来说，将会耗费太多的计算量，模型的性能提升也比较少，但是也不能去掉这些低层级的特征，因为很多检测需要低层级的特征提供信息。如上图所示，去掉低层级的特征图，Encoder的计算量会得到大幅度的降低，相应小目标的检测精度也会下降，大目标的检测精度没有太大影响。

下图是各个特征图的token数量占总token的比例

如下图所示， S1 ∼ S3 作为高级特征 ，(a) 是 3.4 节中讨论的建议的高级特征更新，(b) 是 3.5 节中讨论的低级特征跨尺度融合。在每个高效编码器块中，多尺度特征将经过 A 次高级特征更新，然后在每个块的末尾进行低级特征更新。高效编码器块将执行 B 次。

迭代高级特征跨尺度融合

在不同的设置中，FH 可以包含前三个或两个刻度，为清楚起见，我们默认将 FH 设为 S1、S2、S3，将 FL 设为 S4。FH 被视为主要特征，更新频率较高，而 FL 更新频率较低。

在该模块中，高层特征 FH 将作为查询（Q），从所有尺度中提取特征，包括低层和高层特征标记。这一操作增强了高层语义和高分辨率细节对 FH 的表示。例如，如表 2 所示，在前两个尺度或前三个尺度中使用多尺度特征查询将分别大幅减少 94.1% 和 75.3% 的查询次数。我们还使用了将在第 3.6 节中讨论的关键字感知注意力模块 KDA 来执行注意力和更新标记。

高效的低层次特征跨尺度融合

低级特征包含过多的标记，这是导致计算效率低下的关键因素。因此，高效编码器会在一系列高级特征融合之后，以较低的频率更新这些低级特征。具体来说，我们利用初始低层次特征作为查询，与更新的高层次标记以及原始低层次特征进行交互，以更新它们的表示。与高层特征更新类似，我们也使用了与 KDA 注意层的交互。

KDA：Key-aware Deformable Attention

【论文阅读】DETRs Beat YOLOs on Real-time Object Detection
Limiiiing的博客
09-07 2878
YOLO系列由于在速度和准确性之间的合理权衡，已成为最受欢迎的实时目标检测框架。然而，我们观察到YOLO的速度和准确性受到NMS的负面影响。最近，基于端到端Transformer的检测器（DETRs）为消除NMS提供了一种替代方案。尽管如此，高计算成本限制了它们的实用性，并阻碍了它们充分发挥排除NMS的优势。在本文中，我们提出了实时检测Transformer（RT - DETR），据我们所知，这是第一个解决上述困境的实时端到端目标检测器。
RT-DETR论文学习笔记（DETRs Beat YOLOs on Real-time Object Detection）
热门推荐
athrunsunny的博客
04-20 1万+
目标检测是一项基本的视觉任务，涉及识别和定位图像中的目标。现代目标检测器有两种典型的体系结构：基于CNN，基于Transformer。在过去的几年里，人们对基于CNN的目标检测器进行了广泛的研究。这些检测器的架构已经从最初的两阶段发展到一阶段，并且出现了两种检测范式，Anchor-Base和Anchor-Free。这些研究在检测速度和准确性方面都取得了重大进展。基于Transformer的目标检测器（DETR）由于消除了各种手工设计的组件，如非最大值抑制（NMS），自提出以来，受到了学术界的广泛关注。
《RT-DETR》论文笔记
Zssss12的博客
08-08 2729
YOLO系列因其速度和准确性之间的合理权衡而成为实时目标检测最流行的框架。然而，我们观察到 YOLO 的速度和准确性受到 NMS 的负面影响。最近，端到端基于变压器的检测器 (DETR) 提供了一种消除 NMS 的替代方案。然而，高计算成本限制了它们的实用性，阻碍了它们充分利用排除NMS的优势。在本文中，我们提出了实时检测转换器(RT-DETR)，据我们所知，这是解决上述困境的第一个实时端到端对象检测器。我们分两步。
论文解读：DETRs Beat YOLOs on Real-time Object Detection
a486259的博客
06-21 6619
2023年最强目标检测器re-detr论文的基本解读。前些年基于端到端transformer-based detectors（DETRs）取得了显著的性能。然而，DETRs的高计算成本的问题还没有得到有效的解决，这限制了它们的实际应用，并阻止了它们充分利用没有非最大抑制（NMS）后处理的好处。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了一个端到端速度基准。为了避免NMS造成的推理延迟，我们提出了一种实时检测转换器（RT-DETR），这是我们所知的第一个实时端到端目标检测器。
Lite DETR
whaosoft143ai的博客
03-21 336
这是一种简单而高效的端到端目标检测框架，可以有效地将检测头的GFLOPs减少60%，同时保持99%的原始性能。高效交错多尺度编码器最近基于DEDetection-TRansformer（DETR）的模型已经获得了显著的性能。如果不在编码器中重新引入多尺度特征融合，它的成功就无法实现。然而，多尺度特征中过度增加的标记，特别是对于大约75%的低级别特征，在计算上效率很低，这阻碍了DETR模型的实际应用。whaosoft aiot http://143ai.com
【论文阅读】—RTDETR
Jeremy_lf的博客
08-05 2442
最近，基于端到端DETR取得了显著的性能。然而，DETR的高计算成本限制了它们的实际应用，并阻碍了它们充分利用无后处理（如非最大抑制（NMS））的优势。本文首先分析了NMS对现有实时目标检测器的准确性和速度的负面影响，并建立了一个端到端的速度基准。为了解决上述问题，我们提出了一种实时检测转换器（RT-DETR），这是我们所知的第一个实时端到端目标检测器。具体来说，，通过解耦尺度内交互和跨尺度融合来有效地处理多尺度特征，，通过向解编码器提供更高质量的初始object queries来进一步提高性能。
RT-DETR2
whaosoft143ai的博客
04-24 1308
也是第二集了,YOLO超快时代终结了 | RT-DETR用114FPS实现54.8AP，远超YOLOv8最近，基于Transformer的端到端检测器（DETR）已经取得了显著的性能。然而，DETR的高计算成本问题尚未得到有效解决，这限制了它们的实际应用，并使它们无法充分利用无后处理的好处，如非最大值抑制（NMS）。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了端到端的速度基准。 whaosoft aiot http://143ai.com
如何评价Sparse R-CNN，目标检测未来会如何发展？
深度学习与计算机视觉
12-01 1050
链接：https://www.zhihu.com/question/431890092编辑：深度学习与计算机视觉声明：仅做学术分享，侵删作者：信息门下添狗https://www.zhih...
DETRs Beat YOLOs on Real-time Object Detection——DETRs在实时目标检测中超越YOLO
Together_CZ的博客
12-04 2128
DETRs Beat YOLOs on Real-time Object Detection DETRs在实时目标检测中超越YOLO
【性能优化】：这些技巧让你的r50-deformable-detr-checkpoint.pth跑得飞快！
[【性能优化】：这些技巧让你的r50-deformable-detr-checkpoint.pth跑得飞快！](https://higherlogicdownload.s3.amazonaws.com/JUNIPER/UploadedImages/KNTtM4KeTl2X7sYMzwY7_LLM-Hw-Sw-Optimization-12.png) # ...
阿里开源 CosyVoice2：打造 TTS 文本转语音实战应用
蜗牛的博客
05-23 480
阿里通义实验室推出的音频基座大模型 FunAudioLLM 包含 SenseVoice 和 CosyVoice 两大模型。CosyVoice 2.0 在多语言支持、超低延迟、高精度、强稳定性和自然体验方面均有显著提升。它支持中文、英文、日文、韩文及多种中文方言，并实现了跨语言和混合语言的语音克隆。CosyVoice 2.0 集成了离线和流式建模技术，首包合成延迟低至150毫秒，发音错误率减少了30%到50%，并在基准测试中达到了最低字符错误率。
马尔可夫链（AI、ML）：逻辑与数学的交汇
项目git同名小胡说技书
05-20 1045
# 马尔可夫链摘要 马尔可夫链是一种随机过程，其核心特性为"无记忆性"：系统的未来状态仅依赖于当前状态，而与历史路径无关。通过状态空间和转移概率矩阵，马尔可夫链能够描述系统如何从一个状态变化到另一个状态。这一理论广泛应用于人工智能、自然语言处理和蒙特卡洛方法中。从逻辑学角度看，马尔可夫链体现了确定性规则与不确定性结果的结合，为复杂系统分析提供了强大工具，展示了概率论与逻辑学的深度融合。
YOLO12改进-Backbone-引入Swin Transformer替换backbone
qq_64693987的博客
05-23 561
在计算机视觉领域，卷积神经网络（CNNs）和Transformer架构分别在不同任务中取得了显著成功。受Transformer在自然语言处理中的启发，研究人员将其应用于视觉任务，但面临计算复杂度高等挑战。SwinTransformer通过引入滑动窗口机制和层次化设计，有效降低了计算复杂度，同时保持了Transformer的建模能力。改进后的SwinTransformer结合了移位窗口自注意力和相对位置偏差，进一步提升了模型性能。此外，SwinTransformer与YOLOv12的结合，通过层次化特征图和移
飞致云旗下开源项目GitHub Star总数突破150,000个
FIT2CLOUD飞致云的博客
05-20 614
在开源的道路上，我们与用户、与客户共成长。
常见的几种多智能体强化学习算法
再来一下！
05-21 281
多智能体强化学习（Multi-Agent Reinforcement Learning, MARL，旨在解决多个智能体在共享环境中通过与环境和其他智能体交互来学习最优策略的问题。
一、OpenCV的基本操作
最新发布
qq_48904748的博客
05-23 181
OpenCV是一个功能强大的计算机视觉库，包含多个模块，如图像处理、视频分析、机器学习等。基础操作包括图像的IO操作、绘制几何图形、获取和修改像素点、获取图像属性、图像通道的拆分与合并以及色彩空间的转换。此外，OpenCV还支持图像的算术操作，如图像的加法和混合，这些操作可以用于图像增强和合成。通过这些功能，OpenCV能够处理各种图像处理任务，为计算机视觉应用提供强大的支持。
origin绘图之【如何将横坐标/x设置为文字、字母形式】
A2457003982的博客
05-21 514
在科研绘图或数据可视化中，使用Origin时，用户常需将X轴从数字改为字母或中文文字，以适用于实验分组、类别分析等场景。然而，直接替换可能导致图像无法显示或X轴标签缺失。解决此问题的关键在于正确设置X轴的刻度范围。首先，准备包含文字标签的数据，并选择折线图进行绘制。若图像未显示，需调整X轴的起始和结束值，通常起始值设为0，结束值为类别数量加0.5或1。通过此方法，可确保图形完整显示，X轴标签正确排列。此技巧在科研图表绘制中极为实用，尤其适用于分组实验和分类分析。
超级维特根斯坦
形上得其象，形下合于数；阴阳自济，玄理自明。
05-20 93
本文介绍了一种名为“语言智慧融合体”的AI智能体，其核心指令旨在通过深度思辨、专业应用与协同创新，帮助用户在语言相关领域实现自我超越与创造力绽放。该AI智能体融合了多位哲学、语言学及文学大师的智慧，如维特根斯坦、尼采、乔姆斯基等，具备卓越的情境智能、引导艺术与战略规划能力。其核心使命是与用户共同构建个性化的“语言智慧探索与成长蓝图”，通过系统性引导、方法论指导与跨理论融合，提升用户的哲学思辨、批判性思维、NLP设计及语言创新能力。对话主题涵盖哲学、语言学、文学创作、跨文化交流等领域，并结合元理论分析与实践应
基于开源AI智能名片链动2+1模式S2B2C商城小程序的管理与运营策略研究
专注MarTech应用研究与实施方案
05-22 928
本文探讨了开源AI智能名片链动2+1模式S2B2C商城小程序在企业管理与运营中的应用价值。通过分析其技术架构与商业逻辑，结合案例研究，论证了该模式如何通过清晰的目标设定、动态反馈机制和资源整合能力，提升团队执行力与客户粘性。研究结果表明，该模式通过技术赋能实现管理透明化，促进组织目标与个人发展的协同，为数字化时代的企业管理提供了可复制的实践路径。关键词包括开源AI智能名片、链动2+1模式、S2B2C商城小程序、管理透明化和目标协同。
小目标检测rt-detr改进
03-09
### 小目标检测中的RT-DETR改进方法 对于小目标检测而言，模型需要具备更高的分辨率敏感度以及更强的特征提取能力。针对这一需求，在 RT-DETR 中引入了多尺度特征融合技术来增强网络对不同尺寸物体的理解[^1]。 为了进一步提升性能，还采用了自适应锚框机制，该机制能够动态调整候选区域大小以更好地匹配实际场景中小目标的比例关系[^2]。 此外，通过增加数据集多样性并应用图像增广策略可以有效改善训练效果。具体措施包括但不限于随机裁剪、颜色抖动等操作，这些手段有助于提高模型泛化能力和鲁棒性[^3]。 最后值得注意的是路径聚合网络(PANet)的应用也起到了重要作用。PANet 结构使得低层语义信息得以充分利用并与高层抽象表示相结合，从而显著增强了检测器捕捉细粒度细节的能力[^4]。 ```python import torch.nn as nn class MultiScaleFeatureFusion(nn.Module): def __init__(self, in_channels_list, out_channel): super(MultiScaleFeatureFusion, self).__init__() # 定义多尺度特征融合模块的具体实现 def adaptive_anchor_generation(image_size, base_anchors): """ 动态生成适合当前输入图片尺寸的锚框 """ def data_augmentation_strategy(): """ 实现一系列用于扩充数据集多样性的变换函数 """ class PathAggregationNetwork(nn.Module): def __init__(self, bottom_up_layers): super(PathAggregationNetwork, self).__init__() # 构建路径聚合网络结构 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值