论文笔记：DeepIM

一句话概括：

• 仅使用 RGB 图像，对初始的位姿进行迭代优化的方法；也就是 输入目标图像和初始位姿，输出更精确的位姿。

整体框架：

 network 结构：​​​​​​​

主要贡献：

• 提出了仅使用 RGB 图像的位姿迭代优化方法；
• 提出了一种解耦的物体位姿变换的方式，以实现精确的姿态估计。这种表示方式也使提出的方法能够优化未见过的对象的姿态。

• 基于LINEMOD数据集的两种不同 初始姿态生成方法 的消融研究。

小结：

• 文章最初通过向地面真实姿态添加噪声作为初始姿态；
• 文章中说，理论上，只要训练在一个单一的步骤中回归相对姿态的网络，然后将 训练的网络 在测试中进行多次迭代，就可以获得越来越精确的位姿；然而，作者通过实验发现，如果训练网络在一个单一的步骤中回归相对姿态，训练网络所估计的位姿在测试的多次迭代中并没有改善。因此作者在训练期间也执行多次迭代，发现结果变好了。
• 其实各种网络，只要更改一下输出方式，就可以应用在完全不同的任务上。如：文章中 对faster-rcnn 进行简单的修改，就能做位姿估计，只是精度不高。
• 文章中还说可以对 之前未见过的物体 进行位姿迭代优化（由于 提出的解耦的物体位姿变换方式）
• 文章中的 render（如下图中部分），可以认为就是对 3D model 进行初始pose 变换后，投影到 2D 图像的过程。投影后 获得的2D 图像 即为Rendered image

• 参考1：https://blog.csdn.net/dsoftware/article/details/97693975
• 参考2：https://blog.csdn.net/u013841196/article/details/82949927
• Github：https://github.com/liyi14/mx-DeepIM