从代码角度理解DETR

已于 2023-05-27 22:27:34 修改
阅读量653 收藏 4
点赞数 2
分类专栏： transormer系列 文章标签： 深度学习 人工智能 计算机视觉
于 2023-05-27 21:09:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qfpkzheng/article/details/130797680
版权

  1. 一个cnn的backbone, 提图像的feature, 比如, HWC.
  2. 同时对这个feature做position_embedding.
  3. 然后二者相加 (在Transformer里面就是二者相加)
  4. 输入encoder,
  5. 输入decoder (这里有object queries.)
  6. 然后接Prediction Heads, 比如分类和回归.

下面的代码参考自: https://github.com/facebookresearch/detr
commit-id: 3af9fa8
在这里插入图片描述
可以看到, 这里传入的有backbone, transformer, 输入的类别个数(用来确定head的输出维度), num_quries, 以及是否需要aux_loss等.

先看一下forward的解释
在这里插入图片描述
输入是一堆图片和对应的mask. 这里mask先不管. 后面再来细看其具体起的作用;
输出是logits, boxes, 还有aux_outputs(只有在用aux_loss的时候才会有这个的输出)

接下来看第一步
在这里插入图片描述

backbone部分

从这里在这里插入图片描述
可以看出来, backbone是这两个的结合.
在这里插入图片描述
也就是说最终backbone输出的第一个其实是图像backbone提的feature, 第二个是每个feature所对应的 position encoding.

Transormer部分

transformer的输入如下

在这里插入图片描述
由于没有跑代码. 这里
src: 先理解成是images的feature, pos[-1], 先理解成是position-encoding

这里input_proj. 是对输入的src做了一个FC.
在这里插入图片描述
这里的query_embed是

在这里插入图片描述
可以理解成是一个query的词典表.

之后如图
在这里插入图片描述
encoder部分和原始transformer是一致的, 而decoder部分, 原始transformer输入的是trg_seq. 而这里是一个全0的矩阵. 大小与query_embed一样大.

之前transformer的decoder中是trg_seq 与 src_seq的encoder的output 做encoder-decoder-attention. 但是现在detr里的decoder中, 到现在还没有用到groundtruth.

head部分

在这里插入图片描述
这里bbox的coord取sigmoid的原因是gt是按图像的长宽给的比例.
在这里插入图片描述

aux_loss

loss部分

bbox-loss. 采用的有 l1-loss 以及giou loss, 这里用giou-loss的原因是scale-不变.

在这里插入图片描述

SetCriterion

在这里插入图片描述

这里写得很清晰, 即对gt和dt做一次Hungarian匹配, 然后, 将匹配到的pair, 去算loss, loss包括类别和bbox.
我理解这个过程相当于label-assign, 只不过特殊的地方是这个label-assign 是一个一对一的, 这是和之前一些一阶段和二阶段检测不太一样的地方. 比如使用anchor的方法中, 可能多个anchor会对应到一个gt上面, 这也是为啥那些方法的后处理中要使用NMS, 相当于是一种搜索排查式的检测方式，先检测出一堆proposals, 再选出置信度较高的.

loss_cardinality

这其实不是一个loss, 就是为了统计预测的object的数量与ground-truth数量之间的差异. 用来观测.

HungarianMatcher

这个就是一个匈牙利匹配, 用的 from scipy.optimize import linear_sum_assignment, 这里用pytorch的方式封装了一下.

mask起的作用

二维positionEncoding的细节

paper-reading

Abstract

  1. 把目标检测视为一个集合预测问题. 从设计上去掉了很多的人为操作,比如anchor设定, nms 等.
  2. 更关注object与image context 之间的本质, 直接去预测最终的结果集合. 而非"搜索式检测"
  3. 不需要开发额外的库,比如roi-align, roi-pooling, 这些操作…
  4. 很容易换一个head就可以去做分割的任务,

pipline


整个Pipline看上去很好理解, 细节主要体现在 图像的backbone的features如何转化成为 word-embeding似的输入, 进入到transformer中.

在大目标上面要比小目标上好

在这里插入图片描述
这里解释说在大目标上效果比较好是因为transormer的non-local的机制, 这一点我的理解是, transformer由于内部的self-attention操作, 使得输入的一句话中每一个词彼此之间都会去算attention的加权分数。 所以哪怕是某一个词的预测，它也是依赖于整个句子的. 所以是一个non-local的操作.
而小目标, 因为占据的图像中的位置比较少. 别的位置对于这个小目标的attention不那么重要, 因此这种non-local的操作，对于小目标不太友好.
当然作者也提了可以用其他的方式来缓解小目标不好的问题, 比如FPN.

训练时间长

在这里插入图片描述

对于set prediction问题, 两个重要的部件

set prediction loss

这个主要用于在predictin和ground-truth之间建立one-one map.
DETR是预测N个objects, N是一个超参, 比如100.

能够预测objects以及他们之间关系的模型结构. 这里就是指的是DETR
backbone

在这里插入图片描述
比较好理解,就是正常的 2d-backbone.

encoder

在这里插入图片描述
关键的部分也都在上面标出来了.

decoder

在这里插入图片描述

说实话，没太理解 N个, object-query 到最后为啥能够预测 N个 final predictions. 背后的原因是啥?

prediction Heads

这个就是正常的heads.

auxiliary losses

为了帮助模型训练, 在每个decoder层后面, 加了PredictionHeads 和Hungarian loss 来做监督, 并且这些 层是share 参数的.
在这里插入图片描述

实验对比

encoder层的影响

从下表可以看出来, 用encoder还是很有用的.
在这里插入图片描述

而且有可视化结果证明, encoder 层似乎已经把目标分离开来了.
在这里插入图片描述

decoder层数的影响

在这里插入图片描述

  1. decoder层数的增加, 效果变好,
  2. 当decoder层数只有一层的时候, NMS有用.
  3. 当decoder层数大于一层的时候, NMS几乎没有什么用.
    这说明 单个decoder层不足以表现不同输出间的关系.
    在这里插入图片描述

FFN层的重要性

去掉之后会掉点.
在这里插入图片描述

PositionEncoding 的重要性

  1. spatioal position encoding 在encoder 和decoder 中都非常重要. 没有的话会掉6个点左右.
    在这里插入图片描述

object_query

从代码里看, 是这样的流程.

在这里插入图片描述
比如 num_queries 是100, 而 hidden_dim 是64的话.

那么query_embed.weight 也是 [100, 64] 维的.

这里进去encoder的, tgt 每次其实都是0. 而query_embed.weight 充当的是query_pos.

我理解这个就是上面说的, output position encodings.

因此当normalize_before=False的时候, decoder的时候会直接走forward_post,
从下面的代码可以看出
在这里插入图片描述

在decoder的时候, 最初的一层的输入, 因为tgt都是0, 所以 q=k=query_pos.

所以这里的object_query 其实就是随机初始化的 query_embed.weight.

这里解释下nn.embedding 是什么意思.

nn.embedding可以理解为是一个词嵌入模块. 它是有weight的. 这是一个可以学习的层, 有参数,类似于conv2d.

比如上面的例子中, query_embed 就可以理解为是一个词典, 只不过这个词典有点小, 只有100个词, 每个词的embedding的大小是64.
forward的时候,可以传入indices, 来得到对应的每个单词的embeddings. 可以传入batch的indices.

推理的时候query_embed充当什么角色?

FourierTransformer
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DETR原理与代码精讲
02-18
Transformer在许多NLP(自然语言处理)任务中取得了最先进的成果。 DETR(Detection Transformer)是Facebook提出的基于Transformer的端到端目标检测方法。DETR使用CNN+Transformer进行图像目标检测，该方法没有NMS后处理步骤、没有anchor。DETR总体思路是把目标检测看成一个set prediction的问题，并且使用Transformer来预测物体边界框的集合。本课程对DETR的原理与PyTorch实现代码进行精讲，来帮助大家掌握其详细原理和具体实现。 原理精讲部分包括：Transformer的架构概述、Transformer的Encoder 、Transformer的Decoder、DETR网络架构、DETR损失函数、DETR实验结果和分析。  代码精讲部分使用Jupyter Notebook对DETR的PyTorch代码进行逐行解读，包括：安装PyTorch、 DETR官方Demo，DETR的hands-on tutorial，DETR的代码精讲（数据准备、Backbone和位置编码、Transformer架构的实现）。相关课程： 《Transformer原理与代码精讲（PyTorch）》https://edu.csdn.net/course/detail/36697《Transformer原理与代码精讲（TensorFlow）》https://edu.csdn.net/course/detail/36699《ViT（Vision Transformer）原理与代码精讲》https://edu.csdn.net/course/detail/36719《DETR原理与代码精讲》https://edu.csdn.net/course/detail/36768《Swin Transformer实战目标检测：训练自己的数据集》https://edu.csdn.net/course/detail/36585《Swin Transformer实战实例分割：训练自己的数据集》https://edu.csdn.net/course/detail/36586《Swin Transformer原理与代码精讲》 https://download.csdn.net/course/detail/37045
DETR原理与代码超详细解读
weixin_38252409的博客
10-20 1468
本文阐明DETR论文相关原理与源码解读，其中本文将花费大量笔墨解读源码，我将从数据准备到数据加工，到CNN特征提取，到transform编解码，到解码二分匹配，到端到端设计Loss，也简要说明DETR推理过程。本文是一篇极少涵盖DETR全部内容，重点结合代码运行过程，使本文有大量内容，初步计算，文字与代码共约5万字左右，实现DETR模型完整代码解读。
DETR纯代码分享（二）coco.py（datasets）
sinat_41942180的博客
09-12 730
这是一个Python类的定义，名为。它是一个自定义类，用于实现特定的功能。这是类的构造函数。它接受一个参数，默认值为False。这个参数用来控制是否要返回掩码（masks）信息。这一行将传入构造函数的参数的值赋给了类的属性。这个属性用于在后续的操作中确定是否生成和返回掩码信息。
【vision transformer】DETR原理及代码详解（一）
热门推荐
qq_35831906的博客
04-12 1万+
DETR:End-to-End Object Detection with Transformers 论文：https://arxiv.org/pdf/2005.12872.pdf 代码：https://github.com/facebookresearch/detr(pytorch） https://github.com/BR-IDL/PaddleViT/tree/develop/object_detection/DETR（PaddlePaddle） 1. DETR 概述 DETR 是v...
DETR纯代码分享(一) main.py
sinat_41942180的博客
09-11 814
模型将用于训练和推理，损失函数用于计算训练中的损失，后处理器用于将模型的输出结果进行处理，使其符合特定的格式（在这种情况下，用于COCO数据集的处理）。总之，这段代码的主要作用是保存训练和评估的日志信息到日志文件中，以及保存评估结果（例如 COCO 指标）到特定的目录中。这段代码用于保存模型的检查点，包括模型权重、优化器状态、学习率调度器状态、当前轮次（epoch）信息以及训练时使用的参数等到指定的检查点文件路径。这段代码的目的是在训练结束后，向用户提供关于整个训练过程耗时的信息，以便了解训练的时间消耗。
DETR纯代码分享（九）transformer.py
sinat_41942180的博客
09-27 335
""""""这段代码是一个用于实现DETR模型中的Transformer类的定义。DETR是一个用于目标检测的神经网络模型，它将目标检测任务转化为一个序列到序列（Sequence-to-Sequence）问题。: 这是一个类的定义，表示DETR模型中的Transformer部分。该类用于实现Transformer的结构和功能。: 该注释表明该类的定义是从PyTorch的类进行复制并进行了一些修改。在标准的Transformer模型中，位置编码是在Encoder和Decoder之前添加的。
【代码实现】DETR原文解读及代码实现细节
日拱一卒，功不唐捐
09-04 1547
宏观上来说，DETR主要包含三部分：以卷积神经网络为主的骨干网（CNN Backbone）、以TRM(Transformer)为主的特征抽取及交互器以及以FFN为主的分类和回归头，如DETR中build()函数所示。DETR最出彩的地方在于，它摒弃了非端到端的处理过程，如NMS、anchor generation等，以来端到端建模目标检测过程，并且将Transformer引入到目标检测中，打开新领域的大门）。
【vision transformer】DETR原理及代码详解（四）
qq_35831906的博客
04-14 3872
本节是 DETR流程及 构建backbone和position embedding 相关部分的代码解析 STEP 1: Create model and criterion #构建模型和标准 STEP 2: Create train and val dataloader #构建训练和测试数据集 STEP 3: Define lr_scheduler #定义学习策略 STEP 4: Define optimizer #定义优化器 STEP 5: Load...
Detr代码解读（一）数据加载
Deen的博客
05-05 1178
Detr模型如上图所示，简单来讲，就是将图片进行CNN特征提取后送入Transformer模块，然后直接生成预测框，设置个阈值后，生成的预测框就是预测结果，不需要再经历NMS操作。Detr用的数据集格式为coco数据集格式，所以在进行Detr算法前，需要将我们的数据集转为coco数据集，可参考。是现在数据集下面训练集跟验证集的名称，如果跟你数据集名称不一样，可以在这里改成你数据集下的名称。的图片跟标注进行处理，首先先获取图片id，然后获取标注信息，获取目标类别，然后将这些转为。之前写过一篇数据加载机理的。
detr目标检测算法源码详解
qq_52053775的博客
08-14 3161
对于每一批次的图像，首先找出每一批次图片的H,W的最大值Hmax,Wmax,然后将原始图像填充为3*Hmax*Wmax大小，并将图像部分置为False，填充部分置为True.最后将图像数据tensor和mask打包为nesttensor格式（从nesttensor取出tensors和mask只需要调用方法tensor_list.tensors、tensor_list.mask即可）......
DETR的图片测试脚本
06-21
DETR 官方只提供了训练代码，没有提供测试程序，网上也很少有用的教程，这个detr-test可以用来测试自已训练的图片，只需要导入自已的权重文件，加载图片，就可以显示出检测框和标签名
TensorRT部署DETR项目工程
07-04
本项目提供了 tensorrt 部署 DETR 完整工程源码、依赖及模型，并且整理好了一键执行脚本。部署链路为 pytorch -> onnx -> trt(trtexec) 脚本执行顺序为： ● (1) run_convert_todetr_r50.sh ==> 模型转换 ● (2) run...
rt-detr目标检测+python+tensorRT推理代码
06-28
该代码实现rt-detr的部署，使用python，调用tensorRT转换后的模型，实现单张图片或者图片文件夹批量推理，代码输入图片/文件夹路径，模型路径，输出图片保存路径，运行命令python ./infer_tensorrt.py --infer_dir=....
目标检测+PaddleDetection+rt-detr运行代码
06-28
该代码是百度的PaddleDetection代码，包含rt-detr配置文件和相关代码，可以直接用来测试
DETR:DEtection TRansformer
07-10
DETR，是首次将Transformer运用于目标检测，实现了transformer在CV界能够完成下游任务，该资源包含DETR全部代码，训练代码、测试代码、全部调通，无需修改，直接运行；coco数据集，API曲线、训练权重、测试权重等，...
【深度学习】YOLOv5，烟雾和火焰，目标检测，防火检测，森林火焰检测
q742971636的博客
04-23 990
然后标注矩形框和类别。
勾八头歌之RNN
m0_62470904的博客
04-23 269
【代码】勾八头歌之RNN。
【TensorFlow深度学习】前向传播实战：从理论到代码实现
最新发布
yuzhangfeng的博客
04-26 608
input_size = 784 # 输入特征长度hidden_size_1 = 256 # 第一个隐藏层节点数hidden_size_2 = 128 # 第二个隐藏层节点数output_size = 10 # 输出层节点数（例如MNIST手写数字识别）本文详细介绍了前向传播的理论基础和在TensorFlow中的实现方法。通过构建一个简单的神经网络模型，我们展示了从初始化参数到前向传播，再到损失计算和参数更新的完整流程。这为进一步探索深度学习模型提供了坚实的基础。
深度学习基础之《TensorFlow框架（14）—TFRecords》
csj50的专栏
04-23 333
1、TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件。（3）将协议内存块序列化为字符串，并且通过tf.io.TFRecordWriter写入到TFRecords文件。（2）将数据填入到Example协议内存块（protocol buffer）3、文件格式*.tfrecords。一、什么是TFRecords文件。二、Example结构解析。
DEFORMABLE DETR代码复现
07-12
如果想要复现Deformable DETR的代码，可以参考以下步骤： 1. 下载Deformable DETR的代码库，例如GitHub上的https://github.com/fundamentalvision/Deformable-DETR。 2. 安装必要的依赖项，包括PyTorch、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值