Segmentation-driven 6D Object Pose Estimation论文理解

本文创新点\贡献

分割驱动，让每个可以看到的部分都对关键点位置的预测做出贡献

---

方法

方法概述

假设：
物体是刚体且CAD模型已知。

对输入的图片做卷积，然后产生分割和预测，将图片分成$S\times S$个网格，每个网格都i预测属于的类别并回归关键点的位置，关键点在这里就是交点，然后根据2D-3D对应来做EPnP

---

分割流

对每个$S\times S$的cell预测label，$D_{seg}=K+1$，$K$是类别数，因为前景和背景的不平衡，所以使用的 Focal Loss

---

回归流

预测内容：
在分割出来的mask中进行的预测，预测提前定义好的3D关键点的2D映射，这里用的是八个角点，所以$N=8$，$D_{reg}=3N$

预测方法：
没有直接预测位置，预测的是八个角点对于中心位置的偏移，所以设2D形心是$c$，对于第$i$个关键点，预测的偏移为$h_i(c)$，所以绝对位置就是$c+$