单帧RGB估计6d姿态
流程:
1.检测图像中的ROI (yolov3)
2.将ROI动态放大后(即Zoomed-in ROI)作为输入,并预测得到几何特征:MSRA,、M2D-3D 、Mvis(没用)
3.MSRA(表面几何特征区域,个人理解二就是分成了若干个fragments)、M2D-3D(3d对应关系,稠密)结合起来输入到patch-pnp里,直接回归出6d pose
创新点:
1)提出一个观点:如果选择一个合适的参数模型表示 pose params,直接回归的方式要比间接的方式更具有竞争力
2)提出了GDR-net, 通过利用稠密匹配中的几何信息来提高直接回归6d姿态的performance
个人认为:这个就是将直接方式和间接方式融合了,或者说是将pnp算法加到了深度学习框架中,成为一个end-2-end 的框架。
小记:
学习R的特征时,如果表示R的elements ≤ 4个,那么会导致在欧式空间上的不连续;
直接法时,不同方法的主要区别体现在:1)R|t的参数表示,如何才能更好回归 2)loss的设计