Modeling Deformable Objects from a Single Depth Camera

1 partial surface →(point correspondence)→ warp partial surface →(assemble)→complete watertight surface

2 section 3

In the initialization step, … into 3D meshes.

颜色部分用SIFT提取salient features
深度部分用来进行3D Mesh建模

3 section 3.2
公式(4), 第一部分保持laplacian coordinate一致性, 第二部分control point的约束

4 公式(5)中$V'$是整个partial patch上的点

5 公式(6)中$M_I$行是control点数, 列是partial patch点数, U只有control 点数的行

6 Note: The Laplacian coordinate is not a good descriptor since it is well known as affine-variant. The laplacian coordinate of a vertex is actually a vector in 3D space that originates from the centroid of its neighbors and ends at the vertex.

7 公式(19)是变换前,后的laplacian coordinates一致性, 前面一些公式是从laplacian surface editing 借鉴过来的

8 式(21)是求第d帧时, 其他帧向这一帧靠近的目标位置, $V'_i$是第i帧中partial patch点的位置矩阵

9 式(22), frame i to frame d 的某点的对应, 第k个点是对应第i帧中partial patch中的某一点.

然后右边就是第d帧中对应点的目标位置

10 式(23), frame i to frame j, 第k个点和第h个点对应为第i帧中的partial patch的某一点与第j帧中partial patch的某一点.

11 section 3.4 , 被遮挡了后, 当前帧就失去了目标位置, 所以只靠laplacian 约束去造成误差, 这里的解决方法就是通过前后帧插值估算当前帧被遮挡部分的位置.

12 section 3.5 warping之后的smooth过程, 具体没细看, 想研究看文献[20]