【DETR用于3D目标检测】DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries

最新推荐文章于 2023-07-20 16:19:33 发布
最新推荐文章于 2023-07-20 16:19:33 发布
阅读量1.1k 收藏
点赞数
分类专栏： ▶ 深度学习-计算机视觉 文章标签： 目标检测 3d 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44936889/article/details/125943366
版权

DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries

论文简介：

本文介绍了一个用于多摄像机三维目标检测的框架。现有的工作是直接从单目图像中估计三维边界框，或使用深度预测网络从二维信息中生成三维目标检测的输入，与此不同，本文的方法直接在三维空间中操作预测。

DETR3D 从多个相机图像中提取二维特征，然后使用一组稀疏的 3D 对象查询来索引到这些二维特征中，使用摄像机转换矩阵将 3D 位置链接到多视图图像，然后对每个对象查询进行边界框预测，使用集合到集合的损失来测量地面真实值和预测之间的差异。

这种自上而下的方法优于自下而上的方法，即对象边界盒预测遵循每像素深度估计，因为它不受深度预测模型引入的复合误差的影响。此外，该方法不需要后处理，如非最大抑制，显著提高了推理速度，并在 nuScenes 自动驾驶基准测试上取得了最先

了解本专栏 订阅专栏 解锁全文 超级会员免费看
BIT可达鸭
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
mmdet3d+waymo test/evaluation流程
ZLTJohn的博客
06-05 1718
evaluation是最直观反映模型性能和问题的步骤，也是检验运行环境是否有错的重要一换，下面依托detr3d与custom waymo dataset类，介绍一下mmdet3d+waymo在eval的流程。
CVPR2021 | DETR3D:3D Object Detection from Multi-view Images via 3D-to-2D Queries论文翻译
最新发布
usernameisnotexist的博客
03-14 688
我们介绍了一种多摄像头三维物体检测框架。与直接从单目图像估算三维边界框或使用深度预测网络从二维信息生成三维物体检测输入的现有工作相比，我们的方法直接在三维空间中操作预测。我们的架构从多个摄像头图像中提取二维特征，然后使用稀疏的三维物体查询集对这些二维特征进行索引，利用摄像头变换矩阵将三维位置与多视角图像联系起来。最后，我们的模型对每个物体查询进行边界框预测，并使用集对集损失来衡量地面实况与预测之间的差异。
目标检测+PaddleDetection+rt-detr运行代码
06-28
该代码是百度的PaddleDetection代码，包含rt-detr配置文件和相关代码，可以直接用来测试
BEV (3)---DETR3d
weixin_42454048的博客
05-16 1790
①. 利用Resnet101 + fpn提取6张环视图像特征，获得1/4, 1/8, 1/16, 1/32, 4个不同尺度的输出(②. 预设900个预测框（object_querys）， 拆分object query为query和query_pos, 利用全连接处理query_pos获得BEV空间3D reference point (x， y， z)的预测结果。
论文精读：《DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries》
zyw2002的博客
12-09 3005
我们介绍了一个多摄像机三维目标检测（multi-camera 3D object detection）的框架。与现有的直接从单目图像中估计三维边界盒或利用深度预测网络从二维信息中生成用于三维目标检测的输入相比，我们的方法直接在三维空间中处理预测。具体流程：我们的架构从多个摄像机图像中提取2D特征，然后使用稀疏的3D对象查询集索引到这些2D特征中，使用摄像机变换矩阵将3D位置链接到多视角图像。最后，我们的模型对每个对象查询进行包围盒预测，使用集到集的损失来度量真实框和预测之间的差异。
DETR3D笔记
qq_42250207的博客
07-20 621
2、对于尺寸的建模不是特别好，比如在gt中有个车是很长的，在预测结果中车相对而言是很短的，产生这样尺寸差异的原因是什么呢？DETR3D是可以利用重复特征去预测的，3D reference point对多视角分别投影，比如一个reference point投影回视角1的时候投影到重叠区域了，拿一次特征，投影回视角2的时候又投影到这个重叠区域了，又拿一次特征，是可以通过多视角特征进行融合的，所以对于重叠区域，DETR3D的检测融合的是多视角的特征，相比单一视角的检测而言，性能自然是有明显提升的。
BEV感知：DETR3D
Hanze的博客
02-21 984
在这篇paper，作者提出了一个更优雅的2D与3D之间转换的算法在自动驾驶领域，它不依赖于深度信息的预测，这个框架被称之为DETR3D。这个方法主要是为了葱多视角获取 scene-specific information，作者把首先生成3D的query，生成3d reference point，通过相机参数矩阵投影到2D拿到相应的2D feature。我们提出了一个基于RGB图像进行3D目标检测的改进模型。
DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
SugerOO的博客
07-15 984
本文提出了一个 仅使用 2D 信息的，3D 目标检测网络，并且比依赖与 密集的深度预测 或者 3D 重建的过程。类似于 DETR 的 set to set 的 loss，在 decoder 的每一个 layer 后面都有 loss 的计算。长久以来 3D目标检测是一个挑战，并且 仅使用 2D 的图像信息（RGB图像），相比于 3D 信息（LiDAR）更加困难。本文提出了一个更加优雅的 2D 观察到 3D预测的过渡，用于自动驾驶任务，该方法不依赖于 密集的深度预测模块。
UP-DETR，针对目标检测的无监督预训练Transformer
02-17
UP-DETR，针对目标检测的无监督预训练Transformer
算法部署-使用TensorRT部署RT-DETR目标检测算法-优质算法部署项目实战.zip
03-06
算法部署_使用TensorRT部署RT-DETR目标检测算法_优质算法部署项目实战
DETR- End-to-End Object Detection with Transformers 论文解析Yannic Kilcher版本
06-14
DETR- End-to-End Object Detection with Transformers (Paper Explained)，来自需要你懂得的网站视频，生肉版本。
深度学习领域detr算法在小麦头目标检测（带数据集）-2、end-to-end-object-detection-with-t
06-18
深度学习领域detr算法在小麦头目标检测（带数据集）--2、end-to-end-object-detection-with-transformers-detr 语言：python 内容包括：源码、数据集、数据集描述 目的：使用detr算法在小麦头中目标检测。 带数据集...
DETR3D 论文学习
calvinpaean的博客
05-21 1410
对于低成本自动驾驶系统，仅凭视觉信息进行 3D 目标检测是非常有挑战性的。目前的多相机 3D 目标检测方法有两类，一类直接对单目图像做预测，没有考虑 3D 场景的结构或传感器配置。这类方法需要多步后处理，融合不同相机输出的预测结果，去除冗余边框。另一类方法则使用了 3D 重建，从图像信息构造 pseudo-LiDAR 数据或场景的深度信息，然后应用 3D 目标检测方法。但是这类方法会面临复合性错误，若深度信息估计错了，则 3D 目标检测就会很受影响。
DETR3D模型源码导读 & MMDetection3D构建流程
AI训练师中的点滴
06-19 3443
本文主要是学习整理，结合DETR3D的模型结构与MMDetection3D的模型构建方法，首先介绍model dict的模型参数设置，然后介绍逐个介绍DETR3D中的子结构，过程中简单讲解mmdetection3d的模型构建流程。model部分：定义按照backbone,neck,head的顺序设置模型参数.....................
论文翻译：《DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries》
Sual
10-19 6065
DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries   这篇论文的四个作者分别来自麻省理工学院、丰田研究院、卡耐基梅隆大学、理想汽车，最近被CORL 2021接收。 论文链接：https://export.arxiv.org/abs/2110.06922 官方开源代码：https://github.com/WangYueFt/detr3d Abstract   我们介绍了一种用于多相机3D目标检测的框架。现
DETR3D代码阅读
asdapple117的博客
10-09 1328
DETR3D源码阅读
计算机视觉算法——基于Transformer的目标检测（DETR / Deformable DETR / Dynamic DETR / DETR 3D）
热门推荐
weixin_44580210的博客
08-07 1万+
DETR是DEtection TRansformer的缩写，该方法发表于2020年ECCV，原论文名为《End-to-End Object Detection with Transformers》。传统的目标检测是基于Proposal、Anchor或者None Anchor的方法，并且至少需要非极大值抑制来对网络输出的结果进行后处理，涉及到复杂的调参过程。而DETR使用了Transformer Encoder-Decoder的结构，并且通过集合预测损失实现了真正意义上的端到端的目标检测方法。...
论文阅读笔记：(2021.10 CoRL) DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
chaoqinyou的博客
04-19 661
论文地址：DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries | OpenReviewWe introduce a framework for multi-camera 3D object detection. In contrast to existing works, which estimate 3D bounding boxes directly from monocular images or use de
DETR：end-to-end object detection with transformer
06-08
这篇文章提出了一种名为DETR的新型目标检测算法，它使用了Transformer架构，通过端到端的方式来实现目标检测。DETR算法不同于传统的目标检测方法，它不需要使用RPN或者anchor-based的方法来生成候选框，而是使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT可达鸭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值