BundleTrack学习

---

论文题目

BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models

概况

• 类别：论文
• 标签：6-Dof、 Object Tracking
• 发表刊物 / 会议 时间：IROS 2021

背景 (说明所做的问题、解决该问题的意义、简述现有方法存在的问题)

1.问题

现有方法：
一般传统思路：
1）Forward Kinematics (FK)：直接使用机械臂end-effector位姿代替物体位姿 (some cases)，这种方法在抓取上存在无法估计目标姿态的问题
2）Single-image 6D pose estimation：基于 vision 逐帧计算物体 6D 位姿，低效、多余的

• 当前主流方法：
  几乎都是基于 instance/category-level 3D models，依赖于且仅能用于一些特定 3D model databases，如 ShapeNet 以及 ModelNet40，无模型的物体从0开始建模需要大量精力，且这些分类需要专家经验
• 另辟蹊径：
  受 SLAM 文献启发，tracking-via-reconstruction 类方法不依赖模型，但是随着跟踪进行，误差积累问题很大影响性能

主要创新点（先一句话描述该文所做的事情，再分点讲创新点）

一句话：
提出了位姿图&内存池，全新的6D物体姿态算法，不需要实例或类级别的CAD模型用于训练或测试，可立即用于新物体的6D姿态跟踪
创新点

• 6D物体位姿跟踪算法：不需要实例/类别级物体 CAD 模型，可用于 Novel Objects。综合了 video segmentation, key point detection and matching 等多种方法
• 首次将 memory-augmented pose-graph optimization引入 6D 物体位姿跟踪，借助历史信息解决特征匹配不足和跟踪漂移问题
• 高效的 CUDA 实现，实现算法在线实时运行，达到10Hz。可用于AR/VR，视觉反馈控制操纵，物体级SLAM或动态场景下的 SLAM等。
• 在 NOCS 数据集从 33.3% 大幅度提升到 87.4% 。在 YCBInEOAT 数据集 (前作 IROS2020 se (3)-tracknet 提出) 上也达到了跟目前基于CAD模型的领先方法se(3)-TrackNet相近的表现。

方法

分割–>关键点提取–>关键点匹配得到粗略位姿–>位姿池中找关键帧对粗略位姿进行调整–>得到最终位姿并入池

1.视频分割

采用了现成的用于视频对象分割的 transductive-VOS 网络，只需要在Davis 2017和Youtube-VOS 数据集上预训练，泛化到我们的测试场景，而不需要任何物体的CAD模型进行训练（不依赖，可优化）

输入：上一帧的掩码M_t-1，当前帧图像I_t
输出：当前帧掩码M_t

2.关键点提取、匹配

特征点检测：LF-Net，能够平衡性能和推理速度。它只需要对一般 2D 图像进行训练，例如此处使用的 ScanNet 数据集 ，并推广到新的场景。该训练过程不需要收集任何CAD模型，并且一旦训练完成，在所有实验中都不需要finetune。

局部配准：一种数据关联过程包括特征匹配和以 RANSAC 的方式进行异常值修剪识别特征对应。基于这些特征匹配，当前帧与前一相邻帧之间进行初步匹配。可以用闭式求解，估计T_t^~用于初始化当前节点 T𝑡作为姿态图优化步骤

3.关键帧选择

为了确定位姿图中的其余节点，选择不超过K个关键帧从内存池中参与优化。当内存池中的关键帧数量 N 大于 K时，我们需要找到具有最大互视率(当相对于相机的相互旋转差异最小时)的关键帧集重叠以更好地利用多视图一致性。

4.在线位姿优化

对于当前帧和选取到的k个关键帧，可以建立位姿图 G={V,E}，其中节点V为这k+1帧的位姿T_i，对于节点之间的边E，有以下两个优化方向：

其中E_f考虑对应帧特征的残差，E_g考虑稠密点之间，点到平面距离的残差，当E最小化时，则实现了时空一致性。
这一步是对k+1个位姿都做了优化，而不是只针对当前帧。

5.关键帧memory pool扩增

实验

数据集：
1.NOCS—类级别的静态桌面物体场景。使用5°5cm、IoU25

2.YCBInEOAT—机器人操纵场景下的动态场景。使用ADD/ADD-S曲线下的面积AUC