[模型学习与对比]DETR和ViT

Amigo_5610

已于 2023-03-12 15:53:00 修改

阅读量1.4k

点赞数 9

文章标签：人工智能深度学习计算机视觉 Powered by 金山文档

于 2023-02-20 22:15:17 首次发布

本文链接：https://blog.csdn.net/anormalcell/article/details/129120171

版权

文章介绍了VisionTransformer(ViT)和DETR两种基于Transformer的深度学习模型。ViT将图像转换为序列数据用于分类任务，而DETR则利用Transformer进行端到端的目标检测，避免了传统目标检测中的后处理步骤。两者都涉及将图像序列化，但处理方式和应用场景有所不同，DETR的核心在于Decoder的学习过程。

摘要由CSDN通过智能技术生成

上一周本来想写ViT的原理来着，后来发现这东西和DETR好像没啥区别，就是特征提取方式和后处理的方式不大一样，中间都是原方不动套的TRM，于是就改成同时记录一下二者的原理、区别和联系。

由于我发现如果不结合代码，即便写完了记录，第二天睡醒后也忘的特干净，所以我决定把代码解读也写了，下一篇发。

Vision Transformer（分类任务）

1.1 我们知道，TRM的输入是一些序列，在提出的伊始倍用来处理NLP任务（如翻译）。

图1 使用TRM处理翻译任务时的输入

那么很显然，若想要使用TRM处理图像数据，一个非常朴素的思想就是把图像展开，将图像数据转换为序列数据（序列数据可以是图片的像素对应值，然后将这个转换为输入token），也就如下图所示：

图2 将图片数据转换为序列数据

但此种处理方式会面临随着图像增大，模型计算时的复杂度呈平方级增长的问题。遇到这种问题，可以采用：1. 采用局部注意力机制，也即图2中，2只和7，39做交叉注意力，13只和27，11做交叉注意力；2. 改进attention公式，采用稀疏注意力机制；3. 等等各种方法。。。

1.2 在此之上，我们还可以考虑将图像中的间隔像素点和其邻域的其他像素点整合在一起，为一个token，再进行输入和后续操作，如下图所示。

图3 图像化整为零

1.3 在有了这个操作后，由于后续处理的流程几乎不变，基本上就是输入Transformer然后得到输出，下面，我们可以看一下ViT的流程图：

图4 ViT整体流程1

将图片切分为一个个的16×16的patch

这个部分是用来获取每一个patch的Embedding，这里包含两个小步骤：

将16×16的patch展平；

将得到的256长度的向量，映射为Transformer所需要的长度；

NB:很明显，这里可以通过线性层进行映射，也可以通过设置卷积核的方式直接得出Embedding

位置编码与第二部中获得的Embedding相加

e. 也就是直接向TRM encoder的输入与输出，将得到的多个维数为768的向量的第一个作为分类输入，使用常规的多分类方法进行分类。

图5 ViT整体流程2

DETR（目标检测）

2.1 DETR是一种端到端的目标检测手段，可在不使用比如anchor这些传统手艺的前提下直接生成检测框。对于我们提到的这些传统手艺，其主要依靠于人工经验与数据集特征来针对性设置，不具有普适性。

并且这些东西涉及到非常多的后处理操作，具体表现在于这些手段有很大几率会在同一个物体上生成一大堆冗余的框，这时候需要使用NMS等后处理操作，消除那些框。

2.2 DETR的基本思路在于，首先在训练的过程中，无论如何，直接通过TRM并行地生成N个预测框（论文中N=100），然后通过匈牙利算法去匹配预测框和Ground Truth的k个框，选出最贴近的k个预测框，选出来后，用这k个预测框再和ground truth的k个框计算Loss，从而进行模型更新。