DETR论文解读

最新推荐文章于 2024-04-30 23:23:05 发布
最新推荐文章于 2024-04-30 23:23:05 发布
阅读量294 收藏
点赞数
分类专栏： PaperReading 文章标签： 深度学习 计算机视觉 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41978699/article/details/129568437
版权

DETR基本介绍

DETR的一个创新是端到端的目标检测，它能够将目标检测看做成集合预测问题，而不需要像之前的目标检测算法需要anchor或者nms等，总之就是一个将CNN和transformer结合的一个新颖的目标检测框架，改变预测头还可以进行分割等任务

算法框架

DETR的整体架构如下所示，要检测的图片首先通过CNN提取特征，根据原文这里是提取的ResNet最后一层特征，然后将特征通过Transformer的Encoder与Decoder，这里的encoder与decoder有点类似attention is all you need论文中的编解码器，但是有区别的是这里的decoder处加了100个object queries，这也是本文最关键的部分吧。随后这100 query来搜索图中的目标并进行分类（分别有一个bbox head和cls head），最后通过匈牙利算法进行匹配GT的bbox和相应的类别计算loss

更加具体的框架图如下所示

匈牙利匹配细节

harry_tea
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DETR- End-to-End Object Detection with Transformers 论文解析Yannic Kilcher版本
06-14
DETR- End-to-End Object Detection with Transformers (Paper Explained)，来自需要你懂得的网站视频，生肉版本。
DETR的图片测试脚本
06-21
DETR 官方只提供了训练代码，没有提供测试程序，网上也很少有用的教程，这个detr-test可以用来测试自已训练的图片，只需要导入自已的权重文件，加载图片，就可以显示出检测框和标签名
Deformable DETR demo
12-24
Deformable DETR demo
Detr论文详解
weixin_52185313的博客
06-03 3846
而DETR不采用上面的思想，转而使用CNN + Transformer的方式来进行目标检测。在整体的实现上，原文完全使用原始bert的transformer结构，主要是对图片转换成类似token的处理，原文引入了一个patch的概念，即将输入图片划分为一个个的patch，然后对于每一个patch转换（主要是flatten操作），转换成类似bert的输入结构。整体的框架如下图所示: 假设输入图片大小是224x224，如果每个patch的大小是16x16，那么就有196个patch。然后将16x16x3的pat
【DETR 论文解读】End-to-End Object Detection with Transformer
qq_38253797的博客
10-21 3715
DETR
TensorRT部署DETR项目工程
07-04
本项目提供了 tensorrt 部署 DETR 完整工程源码、依赖及模型，并且整理好了一键执行脚本。部署链路为 pytorch -> onnx -> trt(trtexec) 脚本执行顺序为： ● (1) run_convert_todetr_r50.sh ==> 模型转换 ● (2) run...
DETR:DEtection TRansformer
07-10
DETR，是首次将Transformer运用于目标检测，实现了transformer在CV界能够完成下游任务，该资源包含DETR全部代码，训练代码、测试代码、全部调通，无需修改，直接运行；coco数据集，API曲线、训练权重、测试权重等，...
ECCV2020 Detection DETR 论文解读
weixin_43913124的博客
05-20 342
End-to-End Object Detection with Transformers 论文链接：https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123460205.pdf 论文代码：https://github.com/facebookresearch/detr 文章目录End-to-End Object Detection with Transformers1 目标检测的预测损失2 DETR结构2.1 Backbone2.2 Tran
RT-DETR论文解读与代码
qq_52053775的博客
06-15 3345
目前以大名鼎鼎的YOLO为代表的基于CNN的实时监测网络需要NMS进行后处理，导致不能很好的优化网络，并且网络不够健壮，从而导致检测器的推理速度出现延迟。研究者也分析了Anchor-based和Anchor-free的YOLO的性能，发现Anchor并不是影响实时监测的关键要素，而NMS后处理彩色。DETR很好的解决了后处理对于模型的限制，却受限于Transformer巨大的计算量，无法发挥实时监测性。因此，作者想要重构detr,使其具有实时性。
【深度学习】YOLOv5，金属表面的缺陷检测，GC10-DET数据集
q742971636的博客
04-26 420
数据集的lable文件夹下是每个图片的框和类别标记，是xml格式。
Exploiting CXL-based Memory for Distributed Deep Learning——论文泛读
重新开始写博客
04-25 906
基于CXL内存扩展内存时，如何优化DL模型训练，本文提出DeepMemoryDL框架，通过资源收集+负载分析+数据预取，优化模型训练时间，避免数据读取导致的I/O停滞。核心是数据预取，并没有利用很多CXL的特性。
深度学习与目标检测：从卷积神经网络到YOLOv8概念介绍
weixin_67244432的博客
04-25 1001
接下来，我们将详细阐述YOLO系列模型，特别是最新的YOLOv8模型，并揭示其训练过程及所取得的成果。其中，YOLOv8作为最新成员，在保持实时性能的同时，进一步提高了检测的准确度。YOLO系列模型在保持高准确度的同时，大大简化了目标检测流程，使得其在自动驾驶、视频监控等领域具有广泛的应用前景。相比之下，卷积神经网络通过局部连接和权值共享的方式，显著减少了模型参数的数量，提高了计算效率。YOLO模型的训练过程是一个复杂而精细的过程。首先，需要准备标注好的数据集，包括图像的路径、目标的位置和类别等信息。
基于自注意力机制的长短期记忆神经网络(LSTM-SelfAttention)的回归预测
沅的博客
04-27 1065
它结合了LSTM和自注意力机制的优势，可以有效地处理时序数据中的长期依赖关系和关键部分。这个模型结合了两个不同的结构，即长短期记忆网络（LSTM）和自注意力机制，从而在时序数据预测中发挥各自的优势。LSTM-SelfAttention模型的优势在于它既能捕捉到时序数据中的长期依赖关系（通过LSTM），又能关注输入数据中的关键部分（通过自注意力机制）。LSTM在时序数据预测中表现出色，因为它可以捕捉到数据中的长期依赖关系。自注意力层：在LSTM层之后，引入自注意力机制，以关注时序数据中的不同部分。
Sarcasm detection论文解析 |用于微博讽刺检测的上下文增强卷积神经网络
最新发布
人工智能学习生
04-30 818
在卷积神经网络的基础上，我们为这项任务提出了两种不同的语境增强神经网络模型。与之前的研究相比，我们的神经网络模型将推文内容本身的特征和上下文特征以单词向量的形式整合到了一个模型中。实验结果表明，与最先进的离散模型和基于上下文的模型相比，我们提出的上下文增强神经网络模型具有更好的性能，证明了上下文增强神经网络模型在这项任务中的有效性。
基于Matlab使用深度学习的多曝光图像融合
Q1744828575的博客
04-30 428
一、项目背景在图像处理领域，多曝光图像融合技术是一种重要的技术，它可以将不同曝光条件下的多幅图像合并为一幅高动态范围（HDR）图像。这种技术对于改善图像的视觉效果、增强图像的细节和对比度等方面具有重要意义。近年来，随着深度学习技术的快速发展，将深度学习应用于多曝光图像融合领域已成为一个研究热点。本项目旨在利用Matlab平台和深度学习技术，实现高效、准确的多曝光图像融合。二、项目目标构建深度学习模型：基于Matlab深度学习工具箱，构建适用于多曝光图像融合的深度学习模型。
Python 深度学习（三）
龙哥盟
04-30 706
在本章中，我们研究了使用强化学习构建计算机游戏代理的方法。我们介绍了三种主要方法：策略梯度、Q 学习和基于模型的学习，并展示了如何将深度学习与这些方法结合使用以实现人类或更高水平的表现。我们希望读者能够从本章中获得足够的知识，以便能够将这些技术应用到他们可能想要解决的其他游戏或问题中。强化学习是当前非常令人兴奋的研究领域。谷歌、Deepmind、OpenAI 和微软等公司都在大力投资以解锁这一未来。在下一章中，我们将探讨异常检测以及如何应用深度学习方法来检测金融交易数据中的欺诈实例。
[note]李宏毅Deep Learning 之 BackPropagation笔记
weixin_43720735的博客
04-25 925
李宏毅Machine Learning中讲解Backpropagation反向传播算法的笔记
深度学习--RNN循环神经网络和LSTM
科学的N次方
04-25 555
深度学习中的循环神经网络（RNN）以及其中的一个变种长短期记忆网络（LSTM）是在序列数据处理方面非常重要的模型。下面我将详细介绍这两种网络的原理和应用。
锂电池SOH预测 | 基于CNN的锂电池SOH预测（附matlab完整源码)
天天酷科研的博客
04-27 104
锂电池SOH预测 | 基于CNN的锂电池SOH预测（附matlab完整源码)
detr encoder
10-11
DETR（Detection Transformer）是一种基于Transformers的目标检测框架，使用transformer编码器从输入图像中提取特征，并将其传递给transformer解码器以进行对象检测。 DETR的编码器使用了Transformer的结构，该结构被广泛用于自然语言处理中。它可以把输入图像中的所有位置都看做一个序列，然后对这个序列进行编码，得到一系列的特征向量。这些特征向量可以用于后续的目标检测任务。 与传统的目标检测方法不同，DETR不需要在图像中使用先验框（anchor boxes）或者候选框（proposals）。相反，它通过对编码器和解码器之间引入一种全局背景向量来实现目标检测。在解码器中，该背景向量被用作一个特殊的类别，来表示图像中没有任何物体。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值