Articulation-aware Canonical Surface Mapping

Articulation-aware Canonical Surface Mapping

• CVPR2020 原文
• 阅读记录，非系统整理
• 在CSM的的基础上，释放keypoints surpervision；增加articulation prediction
• Unsupervision; CSM; pixel-wise correspondence

overview

本文在无surpervision的情况做了两个事情：

1. CSM
2. Articulation prediction(camera pose)

key insight

CSM和articulation prediction串起来满足几何一致性。
CSM是mapping pixel to template shape
articulation prediction+ camera pose 可以实现 transformtemplate shape to image(pixel)

与CSM的关键区别在于，CSM假设template是rigid，
而A-CSM

allows the model to articulate,

3 approach

Constructing φ and δ

Parameterizing surface of a mesh.
template shapes – genus-0
mapping between a sphere and a template shape corresponds to
a mapping between faces of the spherical mesh and the faces of the template shape.

3.1. Articulation-aware Geometric Consistency

Articulation Parametrization.

group template shape 的vertices into functional parts
在CSM的$C$,$\varphi$的基础上增加$\delta$
$\delta$的作用是让object的各个parts做相对运动，如低头。实际上是对vertices做变换
geometric cycle consistency (GCC)：

3.2. Learning CSM and Articulation Prediction

先做$\varphi$，在做$\delta$
$\delta$的用法

1. 对template shape 上的vertices做$\delta$变换更新template shape
2. 对每一个$\mathbf{u}\in [0,1{)}^2$，经过$\varphi$map到template shape上一个face内的一个point，对这个point 也做$\delta$变换
3. 变换后的point经过相机$\pi$的project就可以得到$\overline{\mathbf{p}}$
4. $\mathbf{p}$与$\overline{\mathbf{p}}$满足GCC的
   通过这个过程学到的$\delta$，可以得到mean shape的Articulation prediction（类似3D shape的prediction）
   这个过程其实是利用$\mathbf{u}\in [0,1{)}^2$ map的点来学习$\delta$，但是用template shape上的vertices来展示学习的结果。