【笔记】Polygon mesh processing 学习笔记（6）

6. Deformation（变形）

引言

所谓变形，是指交互式地改变网格。

形式化定义：
S ′ = { p + d ( p ) ∣ p ∈ S } \mathcal{S}' =\{p+d(p)|p\in \mathcal{S}\} S′={p+d(p)∣p∈S}
对离散三角网格而言，位移函数$d$是分段线性的，完全由原始网格的顶点对应的位移向量定义。

• 用户预先定义一个位移区域， handle points，同时约束一些区域保持不变，$fixedpoints$

$$\begin{gathered} d(p_i)=\overline{d_i},p_i\in \mathcal{H} \\ d(p_i)=0,p_i\in \mathcal{F} \end{gathered}$$

• 剩余无约束的点所在区域$\mathcal{R}$，需要计算决定

两类变形方法：

• Surface-based deformation，位移函数依赖原始表面$\mathcal{S}$，并且在三角网格上计算。这类方法控制程度高，每个顶点都可以独立约束。相应的，鲁棒性和计算效率受网格复杂度和三角网格质量的影响。
• Space deformation，隐式变形，计算整个嵌入空间的位移函数，然后warp。不需要在三角网格上计算，受网格质量和复杂度影响小。相应的，变形的控制程度就低了。

上述方法都是线性变形，需要求解一个线性方程系统。这些方法的好处在于求解高效；相应的，对大尺度变形，效果可能违反直觉。非线性变形可以解决这个问题，相应数值计算复杂。

Transformation Propagation

最简单且常见的变形方法就是transformation propagation，通过一个标量场$s:\mathcal{S}\to [0,1]$，1表示完全变形（handle region），0表示无变形（fixed region），中间区域可以sommthly blending

怎样构建这个标量场呢？

• 一种方式就是计算变形点$p$到fixed region和handle region的距离，然后插值。这里的距离可以是geodesic distance on the surface，也可以是Eucidean distance on the space。前者效果好但计算复杂。

• 另一种方法是使用调和场计算，手工区域和固定区域有Dirichlet约束$s(p_i)=1,p_i\in \mathcal{H},s(p_i)=1,p_i\in \mathcal{F}$，变形区域满足$\Delta s(p_i)=0$， 然后求解$s(p_i)$（求解线性Laplacian系统）。这种方法计算更复杂，但效果平滑。这种方法还可以通过一个transfer function $t:[0,1]\to [0,1]$,进一步控制blending过程。

计算出标量场后，对每个顶点插值即可。
$$p_i^{\prime }=s(o_i)T(p_i)+(1-s(p_i))p_i$$
这里$T$是用户定义的变形操作。

这类方法的问题是基于距离传播，可能出现违反几何直觉的方案，例如中间塌陷

Shell-based Deformation

受物理启发的，最小化能量的方法。表面看做物理的，拉伸力和张力作用在上面。

设$\mathcal{S}$和${\mathcal{S}}^{\prime }$都是光滑参数化表面。位移函数也是$d:\Omega \to {\mathbb{R}}^3$

First fundamental form 和 second fundamental form $I(u,v),II(u,v)$可以用来度量几何本证性质（与参数化无关）。当表面形变时，基本型的变化可以看组总是一个elastic thin shell energy， 表征了stretching和bending：
$$E(S^{\prime })={\iint }_{\Omega }{k}_s||I^{\prime }(u,v)-I(u,v)|{|}_F^2+k_b||I{I}^{\prime }(u,v)-II(u,v)|{|}_F^2$$
需要最小化这个elastic energy，在给定用户defomation constraints时。

上式计算复杂，把基本型的差简化为位移函数$d$的偏导，定义了thin-shell energy：
$$E(d)={\iint }_{\Omega }{k}_s(||d_u(u,v)|{|}^2+||d_v(u,v)|{|}^2)+k_b(||d_{uu}(u,v{)}^2||+2||d_{uv}(u,v)|{|}^2+||d_{vv}(u,v)|{|}^2)dudv$$
再使用变分法构造Euler-Langrange方程：
$$-k_s\Delta d+k_b{\Delta }^{2}d=0$$
上式是一个PDE。然后，我们就可以将其离散化（例如，使用discrete cotangent Laplacian，以及二阶差分bi-Laplacian）。这样对表面的每个顶点都能给出条件方程。然后求解线性方程系统就可以了（未知元就是自由顶点的个数）。

上述优化方法得到的变形结果是$C^1$连续的。

基于shell能量的方法的最大问题还是计算复杂度

多尺度变形法

基于Shell的方法是线性的，是对非线性shell energy的化简。在处理fine-scale surface details时，变形效果会违反几何直觉。因为几何细节的局部旋转是一种非线性行为，不可能通过纯线性方法实现。

一种更好的保留几何细节，同时仍然采用线性变形的方法，叫多尺度方法。

这种方法的核心思想是把物体分解为两部分，依照频率带，分成低频部分（平滑全局形状）和高频部分（精细），对低频部分做变形，同时保留高频细节。

一个典型的多尺度方法包括三部分：decomposition operator，editing operator，和reconstruction operator。这里只是增加了一个defomation operator，把基底表面$\mathcal{B}$变形为${\mathcal{B}}^{\prime }$。

同时，分解和重建可以是层级的。

• Decomposition可以用mesh smoothing或fairing的方法
• Deformation可以用前述deformation的方法
• Geometric detail representation比较麻烦

Displacement Vectors

在原始网格上，计算表面$\mathcal{S}$上每一个顶点到基底表面$\mathcal{B}$的位移向量$h_i=(p_i-b_i)$

因此有：
$$p_i=b_i+h_i,h_i\in {\mathbb{R}}^3$$
$h_i$使用局部坐标系（local frame）编码，具体地，就是基底表面$\mathcal{B}$上对应的顶点$b_i$的法向量$n_i$和两个切向量$t_{i,1},t_{i,2}$:
$$h_i={\alpha }_i{n}_i+{\beta }_i{t}_{i,1}+{\gamma }_i{t}_{i,2}$$
这里${\alpha }_i,{\beta }_i,{\gamma }_i$就是局部坐标系的坐标。当基底表面变形后，假设位移向量随着基地表面局部坐标系的旋转而旋转，那么就有：
$$p_i^{\prime }=b_i^{\prime }+{\alpha }_i{n}_i^{\prime }+{\beta }_i{t}_{i,1}^{\prime }+{\gamma }_i{t}_{i,2}^{\prime }$$
这里法向好定义，切向量不太好定义。一般是把点$b_i$的一条相邻边投影到切平面上，作为一个切向量，然后叉乘得到另一个切向量。

Normal Displacement

长距离的位移向量可能导致不稳定。因此，位移向量应当尽可能短。

当位移向量连结的不再是点$p$和基底表面对应点$b$，而是它在基底表面上的最近邻点（cloest）时，位移向量的长度确保最短。基于此，诞生了normal displacements（法向偏移）：
$$p_i=b_i+h_i\cdot n_i,h_i\in \mathbb{R}$$
因为之前定义的$h_i$并不是和表面法向平行，因此，需要re-sampling原始表面和基底表面，构建点-点关系。

这种re-sampling既既可以从基底表面上的顶点$b_i$出发，寻找在原始表面上的对应顶点$p_i$；也可以反过来。但是原始表面一般比基底表面细节更多，前者可能引入走样。

对后者方法，使用局部牛顿迭代法找到$p_i$在基底表面上对应的点$b_i$。这里，$b_i$不一定非要是基底表面的顶点，任意点都可以。使用重心坐标插值即可。插值点的法向也可以使用重心插值计算得到。（下面的重心坐标就是讲的这个，法向可以看成是定义在顶点上的函数）。

这第二种方法避免了$\mathcal{S}$的resampling，保留了它的细节。

高级技术

基于向量位移的方法没有考虑邻居位移向量，在处理一些角度变化较大的形变时，会出现一些几何失真，甚至出现表面自交。

Displacement volumes

使用位移体取代位移向量。原始表面上的三个点和对应基底表面的三个点构成一个三棱柱。这个三棱柱的体积用来表示细节系数，在变形时保持不变。代价是高昂的计算开销。

Deformation transfer

把$\mathcal{B}\to {\mathcal{B}}^{\prime }$的transformation给迁移到$\mathcal{S}\to {\mathcal{S}}^{\prime }$上。这个做法在其他应用商店很常见。效果和时间复杂度介于displacement vector和displacement volume之间。

微分坐标法

几何模型复杂时，多尺度方法的分解也变得麻烦起来。为了避免显式的多尺度分解，另一类方法通过修改微分表面的性质取代空间坐标，然后重建变形后的表面。

基于梯度的变形

基于梯度的方法分两步走：第一步，首先对原始表面的梯度进行操作（变形）；第二步，找到和目标梯度场匹配的表面（使用最小二乘优化）。

第一步

如何对梯度进行操作呢？

对每个面片，梯度是一个3*3的Jacobian矩阵$J_T$.给它左乘变换矩阵$M_T$，就可以得到新的梯度$J_T^{\prime }$.

怎么从用户交互得到变换矩阵$M_T$呢？见后文。

通过对每个面片的梯度进行变换，破坏了原始mesh的连结。

第二步

下一步就是要找到新的顶点$p_i^{\prime }$，使得变形后的网格的梯度$\nabla p^{\prime }{|}_T$尽可能和目标梯度$J_T^{\prime }$接近。这是一个能量最小化问题：
$$E(f)={\iint }_{\Omega }||\nabla f(u,v)-g(u,v)|{|}^{2}dudv$$
通过变分法构造Euler-Lagrange方程
$$\Delta f=div\mathbf{g}$$
相较前面基于Shell能量的方法，这种方法只需要计算一次Poisson系统，比计算bi-Laplacian高效一点。不过代价是，这种方法只能保证变形区域边界的$C^0$连续，而Shell-based可以保证$C^1$连续。

基于Laplacian的变形

Laplacian editing是另一种基于微分坐标的方法。和基于梯度的方法类似，只不过操作的不是per-face的梯度，而是per-vertex的Laplacians。

第一步

计算每个顶点的初始Laplace坐标${\delta }_i=\Delta (p_i)$,变形为${\delta }_i^{\prime }=M_i{\delta }_i$。

第二步

找到新的坐标$p_i^{\prime }$来匹配目标Laplacian坐标。

这个问题也是一个能量最小化问题：
$$E(p^{\prime })={\iint }_{\Omega }||\Delta p^{\prime }(u,v)-{\delta }^{\prime }(u,v)|{|}^{2}dudv$$
变为Euler-Lagrange方程
$${\Delta }^2{p}^{\prime }=\Delta {\delta }^{\prime }$$
对离散三角网格，这是个bi-Laplacian系统。这里使用contangent Laplacian效果比uniform Laplacian好一点。

Laplacian方法和Shell-based方法有一定关系。Laplacian方法也是$C^1$连续的。

局部变形（计算$M_i$或$M_T$)

计算$M_T$

用户在handle region上的操作定义为一个放射变换
$$T(x)=Mx+t$$
$T(x)$的梯度$M$表示了旋转、尺度/错切等变换。

怎么传播（propagate）呢？类似尺度场的做法，从handle region的变换$M$衰减到固定区域的$Id$(identity)。

但需要注意的是，旋转的插值和尺度的插值不一样，因此要先把这个矩阵给分解开来。把一个矩阵分解为旋转和尺度/错切的方法叫polar decomposition（极分解）。具体地，对$M$做SVD分解$M=U\Sigma V^T$,然后
$$\begin{gathered} R=U{V}^T \\ S=V\Sigma V^T \end{gathered}$$
现在可以分别对旋转和尺度插值了。

这种方法对旋转表现很好，但是对平移很无力。当平移变化大的时候，变形结果会反直觉。

Implicit optimization (计算$M_i$)

联合优化问题
$$E(p^{\prime })=\sum _{i=1}^n{A}_i||M_i{\delta }_i-\Delta p_i^{\prime }|{|}^2$$
这里$A_i$是local vertex area。$M_i$依赖于新顶点位置$p_j^{\prime }$.

为了防止非线性优化，局部变换被限制为线性相似变换，也就是说变换矩阵是个反对称矩阵。

Freeform Deformation (自由变形)

Space deformation, deform the ambient space and thus implicitly deform the embedded objects.

Lattice-based FFD

传统FFD把空间变形表示为三变量的张量积样条函数：
$$d(u,v,w)=\sum _i\sum _j\sum _k\delta c_{ijk}{N}_i(u)N_j(v)N_k(w)$$
$N_i$是B-样条基函数，$\delta c_{ijk}$是控制点$c_{ijk}$的位移。

可以简写为
$$d(u)=\sum _{l=1}^n\delta c_l{N}_l(u)$$
对原始表面的每个点$p_i$,只要知道它的参数值$u_i=(u_i,v_i,w_i)$，满足$p_i={\sum }_l{c}_l{N}_l(u_i)$。顶点就被变换到$p_i^{\prime }=p_i+d(u_i)$。这个计算相当高效，因为$N_l(u_i)$是预计算且不变的。

从上式还可以知道，变形是通过控制点的位移$\delta c_l$描述的。这种通过控制点的方式有时候显得很无力；支持的变形也很难预测。

通过用户界面，让用户指定表面点的位移而不是控制点的位移可以简化变形处理。但也有不足。

此外，这类方法依赖规则grid的基函数。如果变形不能很好地和grid axes对齐，效果也不好。

Cage-based FFD

• A generalization of the Lattice-based FFD
• Cage is a coarse, arbitrary triangle mesh enclosing the object to be modified.

径向基函数方法

在surface-based方法里，高质量的结果是通过一个变换函数$d:\mathcal{S}\to {\mathbb{R}}^3$，插值用户的位移约束实现的。一般是最小化一些能量。类似的，space deformation也可以通过一个光滑插值三变量函数$d:{\mathbb{R}}^3\to {\mathbb{R}}^3$，最小化类似的fairness能量。

一个三变量径向基变换可以使用一个superposition 径向对称核${\varphi }_i(x)$定义：
$$d(x)=\sum _{j=1}^n{w}_j\varphi (||c_j-x||)+\pi (x)$$
${\varphi }_j(x)=\varphi (||c_j-x||)$是基函数，对应第j个中心$c_j\in {\mathbb{R}}^3$.

怎么找到RBF函数，能够在位移约束$d(p_i)={\bar{d}}_i$之间插值出连续光滑的结果？

求解线性方程系统。

注意到kernel function的选择对计算复杂度和结果的光顺有很大影响。紧致支撑的径向基函数导致一个稀疏的线性系统，可以用来插值大规模的约束。但是不能提供和具有global support的RBF 一样的光顺程度。Global supported 基函数和surface-based方法提供同样程度的光顺。不过global support导致一个致密的线性系统，数值上求解比较困难。

线性方法的局限性

• Shell-based 方法对平移比较好，细节保持较好；但对大的旋转不好；
• Gradient-based editing对旋转较好，但对平移不行；
• Laplacian-based editing 平移和旋转都挺好。只不过对大的变换可能有失真。

Barycentric coordinates(重心坐标)

• 三角形的重心坐标（面积比）
• 推广到四面体（体积比）
• 推广到任意简单形

Applications

• Function interpolation
• Function composite
• …

Generalized barycentric coordinates (GBC)

• Convex polygon

• Conditions

  • ${\varphi }_i(x)\ge 0$
  • ${\sum }_{i=1}^n{\varphi }_i(x)=1,{\sum }_{i=1}^n{\varphi }_i(x)v_i=x$

• Properties

  • Lagrange property ${\varphi }_i(v_j)={\delta }_{ij}$
  • Piecewise linearity on $\partial P$
  • Interpolation
  • Linear preision

Bilinear interpolation

在矩形或正方形上定义的特殊的重心坐标

Convex quadrilaterals

• View $P$ as the image of a bilinear map from the unit square $[0,1]\times [0,1]$
• For each $x\in P$, there exist unique $\lambda ,\mu \in (0,1)$，满足类似重心坐标的关系。这时，$x$的重心坐标为：

$$\begin{gathered} {\varphi }_1(x)=(1-\lambda )(1-\mu ) \\ {\varphi }_2(x)=\lambda (1-\mu ) \\ {\varphi }_3(x)=\lambda \mu \\ {\varphi }_4(x)=(1-\lambda )\mu \end{gathered}$$

How to solve?

Inverse of the bilinear map

构造性方法证明