谷歌最新开源BundleTrack: 无需任何CAD模型的6D物体姿态跟踪算法

最新推荐文章于 2024-08-16 09:24:46 发布

3Ｄ视觉工坊

最新推荐文章于 2024-08-16 09:24:46 发布

阅读量681

点赞数

文章标签：算法大数据 python 计算机视觉机器学习

原文链接：https://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247580432&idx=2&sn=1954895795b4c11b45f53e748906fde4&chksm=fbfd9024cc8a19329452ac3f2a36db06c316f7ff48ba66893efe1ac93e8c33b42af9aec732b8&scene=126&&sessionid=0

版权

视频地址：在公众号「3D视觉工坊」，后台回复「谷歌X实习生」，即可直接下载。

最近，谷歌X的实习生Bowen Wen新开源了用于6D物体姿态跟踪的代码BundleTrack，该工作已经被今年的IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS)录用。其中Bowen Wen为该论文唯一学生作者，此前也是se(3)-TrackNet的第一作者（目前state of art的基于CAD模型的6D姿态跟踪算法），目前为美国Rutgers大学的在读博士，过去几年曾在Facebook Reality Labs, 亚马逊和商汤科技实习。

以下是新开源代码相关的论文、视频、代码、作者个人主页等信息

论文名称：BundleTrack: 6D Pose Tracking for Novel Objects without Instance orCategory-Level 3D Models

论文下载：

https://arxiv.org/pdf/2108.00516.pdf

代码链接：

https://github.com/wenbowen123/BundleTrack

作者Github主页：

https://github.com/wenbowen123

贡献

该开源项目主要贡献如下

1. 一个全新的6D物体姿态算法，不需要实例或类级别的CAD模型用于训练或测试阶段。该算法可立即用于新颖物体的6D姿态跟踪

2. 在NOCS数据集上的创下全新记录，将以往的表现从33.3%大幅度提升到87.4%。在YCBInEOAT数据集上也达到了跟目前基于CAD模型的领先方法se(3)-TrackNet相近的表现。特别值得注意的是，与以往state of art的6D物体姿态跟踪方法相比，BundleTrack并不需要类级别的物体进行训练，也不需要测试阶段物体的CAD模型作模板匹配，减少了很多假设。

3. 首次将具有记忆功能的位姿图优化引入6D物体姿态跟踪。除了相邻帧的匹配还能够借助带记忆功能的历史帧解决特征匹配不足和跟踪漂移问题。

4. 高效的CUDA编码，使得本来计算量庞大的位姿优化图能在线实时运行，达到10Hz。足够用于AR/VR，视觉反馈控制操纵，物体级SLAM或动态场景下的 SLAM等。

问题设置

对于需要6D跟踪的物体，该方法不需要任何类级别的CAD模型或者当前物体的CAD模型。所需要的输入只有（1）RGBD视频；（2）初始掩码，用于指定需要跟踪的物体。该掩码可以通过多种途径获得，例如语义分割，3D点云分割聚类，平面移除等等。该方法就能输出跟踪物体在相机前相对初始的6D姿态变换。

方法

1）总览

本文所提出的 BundleTrack 框架的概述如图. 当前观察到的 RGB-D 帧𝐼𝑡和在此期间计算的对象分割掩码最后一个时间戳𝑀𝑡 1 被传递到一个视频分割网络来计算当前对象掩码𝑀𝑡。基于𝑀𝑡和𝑀𝑡分别为 1 和 𝐼𝑡中的目标物体区域和𝐼𝑡 1 被裁剪、调整大小并发送到关键点检测网络来计算关键点和特征描述符。一种数据关联过程包括特征匹配和以 RANSAC 的方式进行异常值修剪识别特征对应。基于这些特征匹配，当前帧与前一相邻帧之间进行初步匹配。该比配可以用闭式求解，然后用于提供粗略估计 T~ 𝑡用于两个帧之间的转换。估计T~ 𝑡用于初始化当前节点 T𝑡作为姿态图优化步骤。为了确定位姿图中的其余节点，选择不超过K个关键帧从内存池中参与优化。选择 K 而不用所有历史帧是为了平衡效率与准确性权衡。姿态图边包括特征和几何对应，在 GPU 上并行计算。鉴于此信息，姿势图步骤在线输出当前时间戳优化后姿态。通过检查当前帧优化后的姿态，如果它来自新的视角，那么它将会存储在内存池中。

2）视频分割

第一步是将对象的图像区域从背景分割。先前的工作MaskFusion 使用 Mask-RCNN 计算视频每一帧中的对象掩码。它对每个新帧独立处理，效率较低并导致不连贯性。为了避免这些限制，这项工作采用了现成的用于视频对象分割的 transductive-VOS 网络，只需要在Davis 2017和Youtube-VOS 数据集上预训练，泛化到我们的测试场景，而不需要任何物体的CAD模型进行训练。虽然当前的实现使用 transductive-VOS，本文所提出的整个框架不依赖于这个特定的网络。如果可以通过更简单的方法计算对象掩码意味着，例如在机械臂操纵场景下，利用前向运动学，计算机械手的位置进行点云过滤操作场景，便可以替代视频分割网络模块，更为简单。

3）特征点检测，匹配和局部配准

局部匹配是在连续的帧𝐼𝑡-1 和 𝐼𝑡之间来计算初始粗略姿势 T~ 𝑡。为此，在每个图像上检测到的关键点之间进行匹配用于6D姿态配准。不同于先前的工作 6PACK，它依赖于在类别级别的 3D 模型上学习固定数量的类别级语义关键点，本文中BundleTrack旨在提高泛化能力，而不是局限于于某些实例或者类别。选择 LF-Net进行特征点检测是因为它令人满意性能和推理速度之间的平衡。它只需要对一般2D 图像进行训练，例如此处使用的 ScanNet 数据集，并推广到新的场景。

4）对参与位姿图的关键帧选取

前面的局部配准仅仅得到当前帧的粗略姿态估计，接下来在姿态图优化步骤中对 T~ 𝑡进行细化。参与优化的关键帧数为了效率，限制为 𝑘 <=K，其中 K = 15是实验中使用的数字。当内存池中的关键帧数量 N 大于 K时，我们需要找到具有最大互视率的关键帧集重叠以更好地利用多视图一致性

5）在线位姿图优化

𝜆1 和 𝜆2 是平衡 E𝑓和E𝑔。为了本框架对超参数的选择并不敏感，𝜆1 和 𝜆2 在所有实验中都简单设置为1。为了求解位姿图的最优姿势

为了更好地采取利用矩阵 J 和 W 的稀疏性，在每个Gauss-Newton step，一个迭代 PCG（预条件共轭Gradient)求解器被利用，其中对角矩阵J𝑇 WJ 用作预处理器。增量姿势每次更新后都会在切线空间中累积更新迭代。整个位姿图优化是在 CUDA 中实现并行计算。

实验结果

本文仅做学术分享，如有侵权，请联系删文。

干货领取：

1. 在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

2. 在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

3. 在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列三维点云系列结构光系列、手眼标定、相机标定、orb-slam3知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款