Articulation-aware Canonical Surface Mapping

本文提出了一种无监督的方法,结合了像素级对应和关节预测,以改善三维形状的重建。该方法允许模型考虑物体的各个部分进行相对运动,如头部转动,从而提高了重建的准确性和细节。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Articulation-aware Canonical Surface Mapping

  • CVPR2020 原文
  • 阅读记录,非系统整理
  • 在CSM的的基础上,释放keypoints surpervision;增加articulation prediction
  • Unsupervision; CSM; pixel-wise correspondence

overview

本文在无surpervision的情况做了两个事情:

  1. CSM
  2. Articulation prediction(camera pose)

key insight

CSM和articulation prediction串起来满足几何一致性。
CSM是mapping pixel to template shape
articulation prediction+ camera pose 可以实现 transformtemplate shape to image(pixel)

与CSM的关键区别在于,CSM假设template是rigid,
而A-CSM

allows the model to articulate,

3 approach

Constructing φ and δ

Parameterizing surface of a mesh.
template shapes – genus-0
mapping between a sphere and a template shape corresponds to
a mapping between faces of the spherical mesh and the faces of the template shape.

3.1. Articulation-aware Geometric Consistency

Articulation Parametrization.

group template shape 的vertices into functional parts
在CSM的 C C C, ϕ \phi ϕ的基础上增加 δ \delta δ
δ \delta δ的作用是让object的各个parts做相对运动,如低头。实际上是对vertices做变换
geometric cycle consistency (GCC):
在这里插入图片描述

3.2. Learning CSM and Articulation Prediction

先做 ϕ \phi ϕ,在做 δ \delta δ
δ \delta δ的用法

  1. 对template shape 上的vertices做 δ \delta δ变换更新template shape
  2. 对每一个 u ∈ [ 0 , 1 ) 2 \boldsymbol{u} \in [0,1)^2 u[0,1)2,经过 ϕ \phi ϕmap到template shape上一个face内的一个point,对这个point 也做 δ \delta δ变换
  3. 变换后的point经过相机 π \pi π的project就可以得到 p ‾ \boldsymbol{\overline{p}} p
  4. p \boldsymbol{p} p p ‾ \boldsymbol{\overline{p}} p满足GCC的
    通过这个过程学到的 δ \delta δ,可以得到mean shape的Articulation prediction(类似3D shape的prediction)
    这个过程其实是利用 u ∈ [ 0 , 1 ) 2 \boldsymbol{u} \in [0,1)^2 u[0,1)2 map的点来学习 δ \delta δ,但是用template shape上的vertices来展示学习的结果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值