英伟达最新!对未知物体的6D姿态追踪和三维重建(CVPR 2023)

编辑 | 计算机视觉life

点击下方卡片,关注“自动驾驶之心”公众号

ADAS巨卷干货,即可获取

点击进入→自动驾驶之心【全栈算法】技术交流群

普通手机“随手”拍的雕像,一下就变成了精细的三维重建图。

水杯来回动的动态场景下,细节清晰可见:

f94d7a20242800fa8827b740d45fe095.gif

静态场景效果也同样nice,狗狗突出的肋骨都被还原了出来:

ea8dc750a2016e5ac7f56da60d9092e6.gif

对比来看其他方法,效果是酱婶的……

f4ec1d1cf218b54984a4996aa4ac4b74.png

这就是英伟达最新提出的方法BundleSDF

这是一种可对未知物体的6D姿态追踪和三维重建的方法。

用于从单目RGBD视频序列中跟踪未知物体的6自由度运动,同时进行物体的隐式神经三维重建,方法接近于实时(10Hz)。

这种方法适用于任意刚性物体,即使视觉纹理大部分确实,仅需在第一帧中分割出物体,不需要任何额外的信息,并且不对智能体与物体的交互模式做任何假设。

目前,该方法已被CVPR 2023接收。

(论文具体内容可看下方视频介绍)

可处理大幅度姿态变化、有遮挡视频

该方法的关键是一个神经物体场,它与姿态图优化过程同时进行,以便将信息稳健地累积到一致的3D表示中,捕捉几何和外观。

方法自动维护了一组动态的姿态内存帧,以便这些线程之间进行通信。

它能处理具有大幅度姿态变化、部分和完全遮挡、无纹理表面和高光反射等具有挑战性的视频。

作者展示了HO3D、YCBInEOAT和BEHAVE数据集上的结果,证明了我们的方法显著优于现有方法。

野外测试

用于iPhone 12 Pro Max的效果:

973f0d8539c7f37ac65eec41f73326fe.gif

用于Intel RealSense的效果:

c98ee34ba45b418bb035154662afb35e.gif

该方法不仅适用于更具挑战性的动态场景,还适用于此前经常被考虑的静态场景(移动相机)。

因此实现了比专门设计用于静态场景的那些方法更好或相当的结果(即文章开头展示动图)。

9bbc6cc54eed18e1b508496cf4d72589.png

与SOTA对比

HO3D数据集上三种最具竞争力方法的定性比较。

左图:6自由度姿态跟踪可视化,其中轮廓(青色)以估计的姿态渲染。

值得注意的是,如第二列所示,我们的预测姿态有时甚至会纠正GT的错误。

右图:每种方法输出的最终3D重建的正面和背面视图。

由于手部遮挡,视频中的某些部分永远不可见。虽然从相同的视角渲染网格,但是DROID-SLAM和BundleTrack的显著漂移导致网格错误旋转。

b279aa5f983c092dacd1494dc238b8d1.png

定量结果对比如下:

68a65240e07c9b00bc4b31c55f3ed88f.png

95214ff228d8b311184bfe0efd5619c3.png

801bea9f8fd9d1460f4bcd6a6c63e2ac.png

问题设置

给定一段单目RGBD输入视频以及仅在第一帧中目标物体的分割掩码,该方法能持续追踪物体的6-DoF姿态并重建物体的3D模型。

所有处理都是在线自回归的(没有假设未来帧可用)。

处理的物体是刚性的,但不依赖其特定丰富的纹理 - 方法适用于无纹理的物体。

此外,不需要物体的实例级CAD模型,也不需要物体类别的先验知识(例如事先对同一物体类别进行预训练)。

具体框架

5e9c69db7868485b47aa41e61168ea2a.png

首先,在连续的分割图像之间匹配特征,以获得粗略的姿态估计(第3.1节)。

其中一些带姿态的帧被存储在内存池中,以便稍后使用和精化(第3.2节)。

从内存池的子集动态创建位姿图(第3.3节);在线优化与当前姿态一起联合细化图中的所有姿态。

然后,这些更新的姿态被存储回内存池中。

最后,内存池中的所有带姿态的帧用于学习神经物体场(在单独的线程中),该场建模了物体的几何和视觉纹理(第3.4节),同时调整其先前估计的姿态,使姿态跟踪更加鲁棒。

项目地址:
https://bundlesdf.github.io/

视频课程来了!

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频,欢迎大家自取(扫码进入学习)

adb7e072709558ee37e4a6c8a1cb8f3b.png

(扫码学习最新视频)

国内首个自动驾驶学习社区

近1000人的交流社区,和20+自动驾驶技术栈学习路线,想要了解更多自动驾驶感知(分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测)、自动驾驶定位建图(SLAM、高精地图)、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布,欢迎扫描下方二维码,加入自动驾驶之心知识星球,这是一个真正有干货的地方,与领域大佬交流入门、学习、工作、跳槽上的各类难题,日常分享论文+代码+视频,期待交流!

bb0b405d30436733110acc2a1320b271.jpeg

自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区,聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向;

02dea4cd136835448c780f125d7e8994.jpeg

添加汽车人助理微信邀请入群

备注:学校/公司+方向+昵称

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值