总结姿态跟踪基本方法(效果比较好的)。
写在前面:
参考论文
Deep Learning on Monocular Object Pose Detection and Tracking: A Comprehensive Overview
2021年发表
关注点:
- 深度学习在姿态跟踪领域的应用
- 实例级的/类别级的 + 姿态检测/姿态跟踪(四个方向:实例级的姿态检测、类别级的姿态检测、实例级的姿态跟踪、类别级的姿态跟踪)
- 输入数据为:单目相机的 RGB/RGBD vedio(不涉及数据融合)
- 论文内容涉及:评价指标、数据集、SOTA方法之间的比较
我比较关心姿态跟踪的部分。
正文:
问题描述
指明一个(或多个)待跟踪物体,跟踪它的姿态变化。
具体的:
- 输入:
- 一个RGB/RGBD vedio(a series of RGB/RGBD images)
- 待跟踪物体第一帧的位置掩码(init 6D pose)
- 待跟踪物体CAD模型 —— 即提前给出待跟踪物体的3D模型,也可以不给(目前大多数方法需要已知3D模型)
- 输出:每一个时刻的位姿
2D/3D/6D/7D/9D Tracking:
维度 | 输入数据格式 | 维度含义 | 计算物体尺寸 | 应用场景 | |
2D | RGB | x,y | No | 二维平面跟踪定位 | |
3D | 6Dof | RGB / RGBD + CAD | x,y,z,pitch,yaw,roll | No | 跟踪已知3D模型/尺寸的物体 |
7Dof | RGB / RGBD | x,y,z,roll,length,width,height | Yes | 自动驾驶,假设车辆不会绕x,y轴旋转 | |
9Dof | RGB / RGBD | x,y,z,pitch,yaw,roll,length,width,height | Yes | 跟踪未知物体(任意物体/已知类别物体) |
* 我比较关注的是9Dof的跟踪,即如何跟踪一个未知物体的姿态
分类
姿态跟踪可以分为实例级的姿态跟踪和类别级的姿态跟踪:
- Instance-Level Pose Tracking
- Category-Level Pose Tracking
数据集
数据集 | 级别 | 数据格式 | CAD模型 | 类别数 | 视频数 | 总图片数 | 分辨率 |
YCB video | instance | RGBD | Yes | 21 | 92(80train+12test) | 134k | 640*480 |
HomebrewedDB | instance | RGB | No | 33 | 13 | 17k | 640*480 & 1920*1080 |
Objectron | category | RGB | No | 9 | 15k | 4M | 1920*1440 |
方法
跟踪方式 | 具体方法 | 维度 | 数据要求 | 年份 |
Tracking by Detection | Mono3D-Tracking | 7Dof | 2019 | |
3DOT | 7Dof | |||
MotionNet | 9Dof | |||
Tracking by Keypoints | CenterTrack | 7Dof | ||
6-PACK | 9Dof | RGBD | 2019 |