DPOD (Dense Pose Object Detector)是一种基于稠密对应的6D位姿估计方法,不过它的对应不是回归图像中ROI像素对应的归一化的3D坐标,而是将物体的三维模型涂上一层各处都不一样的颜色,然后将2D-3D对应问题转化为分类问题。
1 Correspondence Mapping
如图所示,将一张两通道的correspondence texture投影到物体模型的表面上。注意,这张correspondence texture可以理解为一张RGB图像,其中一个通道的色彩值一样,而且图像上每个点的颜色都不一样,共有(
256
×
256
256\times 256
256×256种色彩);之后,将该图投影到物体的三维模型表面上,这样,一种色彩就对应了物体表面的一个点。
采用这种方法的好处是,将2D-3D的对应问题转化为色彩分类问题;但缺点是在制作训练集时,需要渲染得到模型在不同GT pose下的彩色模型图像。
2 Inference pipeline
输入一张
(
3
,
H
,
W
)
(3, H, W)
(3,H,W)的图像,该网络有三个输出,分别是语义分割结果
(
O
,
H
,
W
)
(O, H,W)
(O,H,W)(其中,
O
O
O是物体的类别数加1),色彩预测结果
U
:
(
C
,
H
,
W
)
U:(C,H,W)
U:(C,H,W)和
V
:
(
C
,
H
,
W
)
V:(C,H,W)
V:(C,H,W)(其中,
C
C
C表示每个色彩通道256个取值的分类概率值)。