Co-Detr

最新推荐文章于 2024-08-06 21:15:42 发布
最新推荐文章于 2024-08-06 21:15:42 发布
阅读量121 收藏
点赞数 1
文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41012399/article/details/140910331
版权

参考：https://www.bilibili.com/video/BV1Sh4y1F7ur/?spm_id_from=333.788&vd_source=156234c72054035c149dcb072202e6be

在这里插入图片描述
在这里插入图片描述
之前的detr正样本数量少，匹配不平衡。
主要修改两个地方：encoder和decoder。
1.在encoder之后加入RPN，atss辅助头。
2.将以上辅助头的输出传到decoder中，作为query。
在这里插入图片描述
辅助头的消融实验：
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

加入更多的头，产生更多的loss，更好优化模型。
在这里插入图片描述

cv-daily
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DETR系列文章之–Co-DETR
weixin_43731232的博客
04-11 1078
Co-DETR，并行训练多个辅助头，以一对多的标签分配方式进行监督从辅助头中提取正样本坐标，为解码器中的正样本的训练效率进行额外的定制化正样本query.一对一标签分配：每个GT框分配给一个特定的query（DETR），较少的正query导致低效训练，从编码器生成的潜在表示和解码器中的注意力学习分析这一问题。一对多标签分配：每个GT框分配给检测器输出的多个proposal/anchor，依赖NMS或者anchor生成（ATSS，RetinaNet，FCOS，PAA）。
探索Co-DETR：一种高效的多模态检测Transformer框架
gitblog_00031的博客
04-25 433
探索Co-DETR：一种高效的多模态检测Transformer框架 项目地址:https://gitcode.com/Sense-X/Co-DETR 在计算机视觉领域，Co-DETR是一个引人注目的开源项目，它基于Transformer架构，旨在实现高效且准确的多模态对象检测。该项目由SenseTime-X Lab开发，为研究人员和开发者提供了一个强大的工具，以处理图像和文本数据的复杂交互。 项目...
Co-DETR
whaosoft143ai的博客
07-31 805
为了实现更灵活的端到端检测器，提出了DETR，将目标检测视作为集合预测问题，并引入了基于Transformer编码器-解码器架构的一对一集合匹配方法。更重要的是，本文的最佳模型Co-DINO-Deformable-DETR++在36周期训练下，使用ResNet-50实现了54.0%的AP，使用Swin-L实现了60.0%的AP，比所有现有的具有相同主干的检测器都有很大的优势。本文提出了一种新颖的协作混合分配训练方案，即 Co-DETR，从多种标签分配方式中学习更高效、更有效的基于 DETR 的检测器。
CO-DETR利用coco数据集训练和推理过程
m0_52695557的博客
06-28 1456
环境：PyTorch 1.11.0 Python 3.8(ubuntu20.04) Cuda 11.3先是在github上下载CO-DETR模型!然后加载所需库!安装mmcv等（注意mmcv应该是1.6.1版本及以上）!!!因为出现了mmdetection 报错 TypeError: FormatCode() got an unexpected keyword argument ‘verify‘问题，用一下方案解决： yapf版本过高，目前版本为 0.40.2，重装低版本yapf即可!!
论文精读 && Co-DETR（Co-DINO、Co-Deformable-DETR）
Flying Bulldog 的博客
12-01 3631
1. Co-DETR基于DAB-DETR、Deformable-DETR和DINO网络进行了实验。2. Co-DETR发现DETR及其变体网络是一对一标签分配，指出了其中的问题，随之提出一对多标签分配监督多个并行辅助头的方法。3. 为了提高解码器中正样本（positive samples）的训练效率，Co-DETR从辅助头中提取正坐标（positive coordinates）来进行额外定制的正查询（positive queries）。4. 辅助头只在训练过程中使用，推断过程中被丢弃，只使用源网络进行推断。
CO-DETR论文学习笔记
weixin_74326343的博客
11-18 694
这里，输出的proposal用ROI池化的话，就让大的ROI对应后面的map，C5；小的对应前面的C4；而在多尺度下，即运用前面提到的FPN生成多尺度特征图然后作为不同的RPN head，此时得到的featuremap已经是多尺度的了，所以不需要多尺度的anchor，只需要不同高宽比的anchor，所以一共只需要15个anchor。这里要注意，用的是单个特征图进行上采样&下采样直接生成金字塔（在VitDet中有提到，FPN其实是不必要的），这里放一下原论文的三个生成特征金字塔的对比吧，采用的就是c啦，
Co-DETR:DETRs与协同混合分配训练论文学习笔记
athrunsunny的博客
11-23 3734
作者提出了一种新的协同混合任务训练方案，即Co-DETR，以从多种标签分配方式中学习更高效的基于detr的检测器。这种新的训练方案通过训练ATSS和等一对多标签分配监督下的多个并行辅助头部，可以很容易地提高编码器在端到端检测器中的学习能力。此外，作者通过从这些辅助头部提取正坐标来进行额外的定制正查询，以提高解码器中正样本的训练效率。在推理中，这些辅助头被丢弃，因此，作者的方法不给原始检测器引入额外的参数和计算成本，同时不需要手工制作的非最大抑制(NMS)。
windows 配置Co-DETR踩坑笔记
Yjzzzzzz的博客
11-26 1222
我用的是windows系统单卡训练，所以没有用官方的bash脚本，而是直接使用train.py进行训练。主要问题在mmcv的安装上。
【目标检测】Co-DETR：ATSS+Faster RCNN+DETR协作的先进检测器（ICCV 2023）
qq_45752541的博客
10-21 3194
DETR将过少的 Query 分配为正样本，采用一对一的集合匹配，会导致对编码器输出的监督稀疏，严重损害编码器的区分特征学习。本文提出了一种新颖的协同混合分配训练方案，名为Co-DETR，以从多样的标签分配方式中学习更高效、更有效的基于DETR的检测器。这种新的训练方案可以通过训练多个并行辅助 Head ，以一对多的标签分配方式（如ATSS和Faster RCNN）进行监督，轻松增强端到端检测器中编码器的学习能力。
co-detr_mmcv目标检测算法模型
qq_27815483的博客
07-12 919
co-detr通过增加辅助分支优化query稀疏问题--由于使用匈牙利批量，每个真值只能匹配1个query导致的。辅助分支利用一对多的样本匹配方法，比如atss,faster-rcnn等，一个真值匹配多个预测值，提高样本数量。
co-detr-mmcv目标检测模型.zip
07-09
co-detr_mmcv目标检测模型.zip，Co-DETR通过添加辅助头来提高网络的训练精度,是一种新颖的协作混合分配训练方案。 为了缓解解码器中较少的正向查询对编码器输出的稀疏监督，我们引入了具有不同一对多标签分配范式的...
rt-detr目标检测+python+tensorRT推理代码
06-28
该代码实现rt-detr的部署，使用python，调用tensorRT转换后的模型，实现单张图片或者图片文件夹批量推理，代码输入图片/文件夹路径，模型路径，输出图片保存路径，运行命令python ./infer_tensorrt.py --infer_dir=....
OW-DETR-基于Pytorch实现OW-DETR开放世界的Transformer目标检测算法-附流程教程+项目源码
05-11
OW-DETR是一种创新的目标检测算法，它在传统的DETR（Detractor）基础上进行了扩展，以适应开放世界环境中的复杂任务。DETR是Transformer架构在计算机视觉领域的一个重要应用，它通过端到端的方式解决了目标检测问题...
目标检测+PaddleDetection+rt-detr运行代码
06-28
rt-detr则是对DETR（Transformer-based Detector）的优化版本，DETR是第一个将Transformer架构直接应用于目标检测的模型，它革新了传统的目标检测方法，消除了Proposal和NMS步骤，简化了检测流程。 rt-detr的主要...
算法部署-基于C++和Python使用ONNXRuntime部署RT-DETR目标检测算法-附项目源码-优质项目实战.zip
05-12
在这个项目中，我们将深入探讨如何使用C++和Python结合ONNXRuntime来部署RT-DETR目标检测算法。RT-DETR（Real-Time DETR）是一种高效的目标检测模型，它基于DETR（DEtection TRansformer），但进行了优化以提高推理...
Deeplearning4j 目标检测的原理
极客栈
08-05 111
Deeplearning4j通过支持多种深度学习模型和丰富的API，使得在Java环境中进行目标检测成为可能。目标检测的原理涉及分类和定位两个主要任务，而Deeplearning4j提供了必要的工具和库来实现这些任务。通过加载预训练模型、预处理图像数据并进行预测，可以实现目标检测功能。
＜数据集＞航拍车辆识别数据集＜目标检测＞
qq_53332949的博客
08-03 268
YOLO与VOC格式的航拍车辆识别数据集，适用于YOLO系列、Faster Rcnn、SSD等模型训练，图片数量6787，全部为无人机垂直向下俯拍视角，目标类别：Car、Truck、Bus
＜数据集＞人员摔倒识别数据集＜目标检测＞
qq_53332949的博客
08-03 414
YOLO与VOC格式的人员摔倒识别数据集数据集，适用于YOLO系列、Faster Rcnn、SSD等模型训练，图片数量8605
目标检测中的Anchor机制：原理与应用
最新发布
weixin_43298211的博客
08-06 278
在计算机视觉领域，尤其是目标检测任务中，“Anchor”指的是预先定义的一组边界框（bounding boxes），用于初始化潜在对象的位置。这些边界框具有不同的形状和尺寸，通常会在图像的多个位置上生成。在推荐系统领域，“Anchor”模型通常指的是一种用于改进推荐结果的方法。这种技术通常涉及到选择一些“锚点”项目，这些项目可以帮助系统更好地理解用户的偏好，并据此推荐相似的项目。
RT-DETR性能对比
03-12
RT-DETR是一种实时目标检测模型，它结合了Transformer和DETR（Detection Transformer）的思想。相比传统的目标检测方法，RT-DETR在速度和准确性方面有一定的优势。 RT-DETR的性能对比主要体现在以下几个方面： 1. 速度：RT-DETR采用了Transformer的并行计算机制，可以高效地处理大量的输入数据。相比传统的目标检测方法，RT-DETR在保持较高准确性的同时，能够实现更快的推理速度。 2. 准确性：RT-DETR通过引入Transformer的注意力机制，能够更好地捕捉目标之间的关系和上下文信息，从而提升目标检测的准确性。与传统的基于区域提议的方法相比，RT-DETR能够更好地处理小目标和密集目标的检测问题。 3. 灵活性：RT-DETR采用端到端的训练方式，可以直接从原始图像中学习目标检测任务，无需额外的预处理步骤。同时，RT-DETR还支持多尺度输入和旋转不变性等特性，可以适应不同场景下的目标检测需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值