Group DETR

最新推荐文章于 2024-10-16 00:00:43 发布
最新推荐文章于 2024-10-16 00:00:43 发布
阅读量451 收藏 8
点赞数 9
文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39326879/article/details/136236891
版权
groupDETR旨在提高对象检测性能，通过在训练时使用多组一对一匹配query，推理时仅需一组即可避免NMS，从而减少计算成本。该方法通过调整query数量和匹配策略优化性能和效率。
摘要由CSDN通过智能技术生成

groupDETR要解决的问题是：既能够一对多的匹配，又能够不用NMS,节约计算开销；

在original DETR中是一对一的匈牙利匹配：
1.如果增加query的数量，是可以提升检测性能的，但是计算开销也会增大，原因在于query个数越多，越容易命中目标；
比如从300个query提升到3300个query，其性能可以提升2个点；
2.如果改成一对多的匹配，比如把一个gt匹配上2个positive box，可以加速收敛，提升一点性能；
但是会导致使用的时候需要用到NMS;

所以groupDETR提出的方法是在训练的时候用多组query,每组内仍然保持一对一匹配，推理的时候只用任意一组query就可以不用NMS了；
groupDETR的具体网络结构如下：
在这里插入图片描述

Jumi爱笑笑
关注
Co-DETR：基于协作混合分配训练的DETR
m0_47867638的博客
12-20 1703
目标检测是计算机视觉中的一项基本任务，它要求我们定位对象并分类其类别。开创性的R-CNN系列[11、14、27]和一系列变体[31、37、44]，如ATSS[41]、RetinaNet[21]、FCOS[32]和PAA[17]，导致了目标检测任务的重大突破。一对一标签分配是它们的核心方案，其中每个groundtruth框被分配到检测器输出中的多个坐标作为监督目标，这些坐标可以是提议[11、27]、锚点[21]或窗口中心[32]。
《DETRs with Collaborative Hybrid Assignments Training》 加入one to many matching 辅助头训练的DETR
blanokvaffy的博客
11-26 4996
最近（2022年）的不少论文都将目光集中在了one to one matching机制上，年初CVPR的Denosing DETR认为one to one matching机制在模型训练的初期导致了损失不稳定，GT无法很好的与query稳定的进行匹配，因此提出了加入噪声干扰的GT输入作为query，与GT进行损失计算来辅助加速DETR模型训练，该课题组在此基础上提出了DINO、Mask DINO等模型，将DETR模式推到了SOTA的水平。辅助one to many matching的分支与原始主分支中的。
Group DETR论文阅读笔记
weixin_74326343的博客
12-27 1084
先大概分析了现阶段加速DETR训练的两条线：1）改进cross-attention部分，关注更有效的feature2）稳定二分图匹配这篇论文用到的方法是从第二条线出发，稳定二分图匹配，但是并不像DN那样去噪训练稳定匹配，而是通过引入更多的监督。
Group DETR:分组一对多匹配是加速DETR收敛的关键学习笔记
athrunsunny的博客
12-06 1656
就是将输入decoder的query由300拓展到300*11（group）共3300，将其同时输入到decoder中一起计算。在计算loss时，在匈牙利匹配阶段会拆分为11组分别进行匹配，最后将各组的匹配结果，也就是索引值，再加上所在。
DETR训练自己标注的数据集
qq_59051530的博客
04-14 3190
DETR（Detection Transformer）是一种新型的目标检测模型，由Facebook AI Research (FAIR) 在2020年提出。DETR的核心思想是将目标检测任务视为一个直接的集合预测问题，而不是传统的两步或多步预测问题。这种方法的创新之处在于它直接预测目标的类别和边界框，而不是先生成大量的候选区域，然后再对这些区域进行分类和边界框回归。
CVPR 2023 | 即插即用！SQR：对于训练DETR-family目标检测的探索和思考
阿木寺的博客
03-02 3045
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉】微信技术交流群作者：cfyyy | （源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/610347565分享一下我们最近的目标检测文章，Enhanced Training of Query-Based Object Detection via Selective ...
DETR代码解读(一)
芒果干的博客
03-16 1160
DETR的代码非常简洁，仓库，下面对DETR的每一部分进行详细解读这一篇博文主要介绍参数、分布式初始化、随机种子和模型部分。
DETR系列文章之–DN-DETR
weixin_43731232的博客
04-08 811
DN-DETR指出导致DETR收敛慢的原因–匈牙利匹配，提出去噪训练方法来加速DETR训练。匈牙利匹配导致query和GT的匹配是一个动态不稳定的过程。匈牙利匹配是一种全局最优的思想，计算出的cost矩阵有些许差异，会导致匹配结果大相径庭。匈牙利匹配：学习整个数据集GT位置的分布规律，学习偏移量使得初始anchor_box逼近GT。偏移量：针对单个query-GT匹配而言，匹配对的频繁切换导致偏移量学习困难。
DINO-DETR
libo-coder
06-22 791
原始的 DETR 使用全零初始化 object query，导致模型优化困难，而 Anchor DETR 采用了 anchor points 来编码形成 object query，保证每个 query 关注 points 附近的特征，相当于为 querys 提供了明确的优化方向。PnP-DETR（ICCV 2021） 改进了 DETR 计算量大的问题，利用提出的 poll and pool（PnP）采样模块在图像特征上自适应的采样不同粒度的特征，从而实现计算量和性能的折衷。
DETR系列文章之–H-Deformable-DETR
weixin_43731232的博客
04-12 657
针对DETR一对一匹配存在的训练低效问题，提出了混合匹配方案，在训练过程中结合了原始的一对一匹配分支和一个辅助的一对多匹配分支。推理过程依旧延续一对一匹配，保持了DETR的优势。论文下载代码下载CSDN解读改进的匹配机制：混合匹配方案，一对一匹配和一个辅助的一对多匹配分支结合保持原始DETR优势：只在训练阶段使用一对多匹配，推理阶段依旧使用原始的一对一匹配方案通用性验证：验证了在目标检测、3D目标检测、姿态估计和目标跟踪等方向，H-DETR的通用性。
小目标调研
weixin_37501173的博客
09-04 284
由8月14日组会讨论时觉得，tph-yolov5的小目标检测头较为重要，是从低层特征图进行检测的结果。但将C3模块更换为C2f模块，是否对低层特征图有较好改善仍有疑问，因此一个优质低层特征图应该有助于进行目标检测。基于这一想法，我们想到了华为的VanillaNet，是一个结构简单轻巧的模型，设想为若其模型性能够好，将其作为Backbone，其低层级特征图应有更好表现。目前VannillaNet模型与YOLO检测算法的结合未见有直接更换Backbone的，后续仍可调研。从。
GroupDETRv2的学习笔记
墨门
04-19 294
我们本来是准备复现这个模型的，但是，GroupDETRv2的第二次预训练使用的是Object365的 task-consistent 的数据集，而论文中使用的设备又过于高昂，目测使用了【64张A100显卡】，目前我们无法支持如此高昂算力要求，所以不准备进行复现。GroupDETRv2是有百度提出的DETR类目标检测模型；此种模型的最高精度为。
【深度学习】Mask DINO四部曲—DETR潘多拉魔盒的正确打开方式
fengdu78的博客
07-18 2698
看本文之前，可以先看一下之前的文章：计算机视觉"新"范式: Transformer检测框架的本质：从检测框编码的输入角度考虑，有密集到稀疏，密集和稀疏三种框架。Mask R-CNN属于先通过密集预测得到稀疏的采样，然后进行稀疏预测的检测框架；RetinaNet(FCOS、CenterNet)等都属于直接密集预测得到结果的检测框架。在DETR工作之前，几乎所有的检测算法都可...
DETR代码学习笔记（一）
athrunsunny的博客
02-17 8173
当训练时，使用torch.manual_seed(seed)函数，只要网络参数不变的情况下，网络的参数初始化每次都是固定的；如果没有设置，每次训练时的初始化都是随机的，导致结果不确定。 例如：要训练自己的数据集通常需要对num_classes进行设置。（其中num_classes的设置根据自己数据集类别数量+1，也就是说，假设coco的数据集中总共有90个类，此时的num_classes就是91）假设刚开始设置的num_classes=5，那么只要训练过程中网络的参数不变，...
【算法】深入了解 CRC 校验码的计算过程
最新发布
qq_20623849的博客
10-16 544
CRC（循环冗余校验，Cyclic Redundancy Check）是一种常见的错误检测方法，它通过生成冗余码来确保数据传输的可靠性。在这篇文章中，我们将探讨 CRC 码的基本原理，并详细介绍其计算过程。通过对数据进行 CRC 校验，我们可以在传输过程中检测到潜在的错误并采取适当的纠正措施。这个新的数据包在传输时，如果接收方再次计算 CRC 校验码并与附带的校验码进行比较，可以确定数据是否在传输过程中出现了错误。：将附加了零位的数据通过生成多项式进行二进制除法运算，得出的余数就是 CRC 校验码。
【算法】双指针
2303_80828380的博客
10-13 776
力扣oj题之双指针算法
C++中的vector介绍（常用函数）
zxybf_的博客
10-15 739
vector的文档介绍vector是序列容器，表示可以改变大小的数组。(constructor)构造函数声明接口说明vector()（重点）无参构造构造并初始化n个val（重点）拷贝构造使用迭代器进行初始化构造int main()//无参的构造//n个val的构造//拷贝构造//迭代器区间构造return 0;
力扣10.13
qq_40052678的博客
10-13 451
如果鸡蛋碎了，你就不能再次使用它。如果某枚鸡蛋扔下后没有摔碎，则可以在之后的操作中 重复使用 这枚鸡蛋。每次操作，你可以取一枚 没有碎 的鸡蛋并把它从任一楼层。，以此类推，因此只需要判断最后的层数是否超过建筑高即可。楼层或比它低 的楼层落下的鸡蛋都 不会碎。函数传入操作次数k，可以发现，最优情况一定先在。确切的值 的 最小操作次数 是多少？的楼层落下的鸡蛋都 会碎 ，从。枚相同 的鸡蛋，和一栋从第。请你计算并返回要确定。
facebookresearch detr
09-04
Facebook Research的DETR（Detected Transformers，检测变压器）是一种基于Transformer架构的计算机视觉模型，主要用于目标检测任务。它在2020年首次提出，作为一种新颖的无区域提议方法，跳过了传统的候选区域生成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值