weixin_43731232的博客

论文下载源码下载csdn解读DAB让我们意识到query的重要性，那么如何学到更好的或者初始化更好的query？DAB-DETR是在思考DETR query理解的问题。它直接把DETR的positional query显示地建模为四维的框(x,y,w,h)，同时每一层decoder中都会去预测相对偏移量并去更新检测框，得到一个更加精确的检测框预测，动态更新这个检测框并用它来帮助decoder cross-attention来抽取feature。DN引入了去噪训练来稳定标签分配，如何进一步优化标签分配？

Anchor DETR发表于2022的AAAI，文章的主要思想是通过给每个可学习的Query Embedding赋予明确的物理意义，使其聚焦于特定的区域。综上所述，Anchor DETR通过Query Embedding中加入Anchor Point的设计，最后Decoder的输出用于回归到每个Anchor Point的偏移量，使得每个Query Embedding只预测Anchor Point附近的目标，简化了优化目标，达到了更好的性能。

Efficient DETR发表于2021年CVPR，主要研究思路是期望object query能够被更好的初始化，从而加速网络收敛。论文下载CSDN参考Efficient DETR期望object query能够被更好的初始化，从而加速网络收敛。

针对DETR一对一匹配存在的训练低效问题，提出了混合匹配方案，在训练过程中结合了原始的一对一匹配分支和一个辅助的一对多匹配分支。推理过程依旧延续一对一匹配，保持了DETR的优势。论文下载代码下载CSDN解读改进的匹配机制：混合匹配方案，一对一匹配和一个辅助的一对多匹配分支结合保持原始DETR优势：只在训练阶段使用一对多匹配，推理阶段依旧使用原始的一对一匹配方案通用性验证：验证了在目标检测、3D目标检测、姿态估计和目标跟踪等方向，H-DETR的通用性。

Grounding DINO，一种开集目标检测方案，基于Transformer的检测器DINO与GT预测相结合。双encoder单decoder。论文下载代码下载CSDN解说双encoder单decoder，开集目标检测方案。支持文本的目标检测（实现方式：将language信息引入到目标的通用特征中）实现从close-set到open-set的创新（实现关键：引入text encode)

Co-DETR，并行训练多个辅助头，以一对多的标签分配方式进行监督从辅助头中提取正样本坐标，为解码器中的正样本的训练效率进行额外的定制化正样本query.一对一标签分配：每个GT框分配给一个特定的query（DETR），较少的正query导致低效训练，从编码器生成的潜在表示和解码器中的注意力学习分析这一问题。一对多标签分配：每个GT框分配给检测器输出的多个proposal/anchor，依赖NMS或者anchor生成（ATSS，RetinaNet，FCOS，PAA）。

DN-DETR指出导致DETR收敛慢的原因–匈牙利匹配，提出去噪训练方法来加速DETR训练。匈牙利匹配导致query和GT的匹配是一个动态不稳定的过程。匈牙利匹配是一种全局最优的思想，计算出的cost矩阵有些许差异，会导致匹配结果大相径庭。匈牙利匹配：学习整个数据集GT位置的分布规律，学习偏移量使得初始anchor_box逼近GT。偏移量：针对单个query-GT匹配而言，匹配对的频繁切换导致偏移量学习困难。

环境：2、下载代码二、环境配置1、创建新环境2、安装torch在pytorch.org上找到合适自己cuda版本的pytorch安装即可，建议同源代码一样安装检查torch安装3、安装依赖包4、编译CUDA operators执行 test.py 后出现 out of memory是正常现象，到这里配置环境就over了/config/DINO/DINO_4scale.py 中进行修改，复制一份，方便管理，以免搞错！2、下载预训练模型预训练模型权重文件 andthe checkp

安装驱动前一定要禁止ubuntu自动更新系统，一定要关闭！后期自动更新，会导致驱动不能使用！带“recommended”选项的，即为系统的推荐版本，图是借别人的，我的是470。选择推荐-应用更改，即可自动安装推荐驱动，自动安装nvidia驱动！

Transformer应用于目标检测的开山之作，将目标检测转换为集合预测问题，利用匈牙利匹配进行一对一匹配预测。

介绍ICLR2022发表论文DAB-DETR论文基本思想即代码实现。代码地址论文地址CSDN解读将object query定义为可学习的anchor，提供了query的宽高信息！DAB-DETR的贡献就是在Conditional的基础上做了个多级refine，positional query显式设置为可学习anchor，加了个不知道有没有用的h,w限制。

解决DETR收敛速度慢问题，提出解耦策略交叉注意力机制中query=content query + object query，速度提升10倍