整体大致流程
- 给定一对3D形状 X \mathcal{X} X和 Y \mathcal{Y} Y,分别有 n x n_x nx和 n y n_y ny个顶点。
- 计算两个3D形状的LBO矩阵(e.g. uniform laplace等)奇异值分解得到的前k个特征向量作为前k个truncated basis functions Φ x ∈ R n x × k \mathcal{\Phi}_x \in \mathbb{R}^{n_x \times k} Φx∈Rnx×k和 Φ y ∈ R n y × k \mathcal{\Phi}_y \in \mathbb{R}^{n_y \times k} Φy∈Rny×k,目的是去近似每个形状上定义的给定特征 F x ∈ R n x × c \mathcal{F}_x \in \mathcal{R}^{n_x \times c} Fx∈Rnx×c和 F y ∈ R n y × c \mathcal{F}_y \in \mathcal{R}^{n_y \times c} Fy∈Rny×c。
- 我们首先为每个3D形状分别计算corresponding coefficients A = Φ x ⊺ F x ∈ R k × c A=\mathcal{\Phi}_x^{\intercal} \mathcal{F}_x \in \mathcal{R}^{k \times c} A=Φx⊺Fx∈Rk×c和 B = Φ y ⊺ F y ∈ R k × c B=\mathcal{\Phi}_y^{\intercal} \mathcal{F}_y \in \mathcal{R}^{k \times c} B=Φy⊺Fy∈Rk×c。
- 接下来求解连续优化问题来计算functional map
C
x
y
∈
R
k
×
k
C_{xy} \in \mathbb{R}^{k \times k}
Cxy∈Rk×k:
C x y = a r g m i n C E d a t a ( C ) + λ E r e g ( C ) , C_{xy} = argmin_C E_{data}(C)+\lambda E_{reg}(C), Cxy=argminCEdata(C)+λEreg(C),
其中 E d a t a = ∣ ∣ C A − B ∣ ∣ 2 E_{data}=||CA-B||^2 Edata=∣∣CA−B∣∣2约束描述符,而 E r e g E_{reg} Ereg属于正则项保留结构属性。 - 有了最优的
C
x
y
C_{xy}
Cxy,接下来计算点对点的对应关系
Π
y
x
∈
0
,
1
n
y
×
n
x
\Pi_{yx} \in {0,1}^{n_y \times n_x}
Πyx∈0,1ny×nx :
Φ y C x y ≈ Π y x Φ x \Phi_y C_{xy} \approx \Pi_{yx} \Phi_x ΦyCxy≈ΠyxΦx
Reference: Self-Supervised Learning for Multimodal Non-Rigid 3D Shape Matching.