经典论文回顾：Image Deformation Using Moving Least Squares

Image Deformation Using Moving Least Squares 发表于SIGGRAPH 2006, 是图像变形领域的经典论文，核心思想是利用移动最小二乘法进行插值。目前引用次数800+，今天简单对这篇论文的核心思想做简单回顾。

还是先上一张论文的Teaser，如下图所示，第1列是原始图像，蓝色的点就是变形控制点，第2、3、4列是随着控制点移动后，分别采用仿射变换、相似变换、刚性变换的图像的变形效果。可以看到变形效果具有很好的局部性，也就是每个控制点只影响到最近的像素。

1. 问题定义

输入：原始控制点 $p$ ，移动后的控制点 $p^{\prime }$。
输出：所有像素点$v$ 变形后的位置 $v^{\prime }$。

图像变形问题本质上还是像素点的插值问题，也就是针对每一个像素点 $v$ 求解一个映射函数$f$: $v^{\prime }=f(v)$. 该函数需要满足如下一些性质：

1. Interpolation: 控制点 $p$ 一定能精确的变形到$q$: $f(p_i)=q_i$.
2. Smoothness: 映射函数需要是光滑的，也就是说空间上相近的点变形后的位置也要接近：$li{m}_{v_i\to v_j}f(v_i)=f(v_j)$.
3. Identity: 相同的点一定能映射到形同的位置，跟性质2类似。

任意点$v$的映射函数定义如下所示，其中$M$表示一个线性变换的矩阵， $T$表示一个平移变换矩阵，需要注意的是，对于不同的像素点 $M$ 和 $T$ 可能不同，但总体上满足光滑性，也就是位置接近，变换相似。
$$l_v(x)=xM+T\text{\hspace{1em}(1)}$$
假设我们已经知道了上述像素点$v$的变换函数，那么我们可以进一步推导控制点的变换 $l_v(p_i)$. 实际的变形过程中，我们往往是先移动控制点再驱动图像变形，因此变形前后的控制点是给定的。那么我们期望$l_v(p_i)$跟真实的修改后的控制点 $q_i$ 尽可能接近即可，因此能量函数定义：
$$E=\sum _i{w}_i|l_v(p_i)-q_i{|}^2\text{\hspace{1em}(2)}$$
其中，$w_i$ 表示 $v$ 对于 控制点 $p_i$ 的变形影响权重，定义如下，基本上也就是距离越近影响越大，距离越远影响越小。
$$w_i=\frac{1}{|p_i-v{|}^{2\alpha }}\text{\hspace{1em}(3)}$$

为此我们的任务就是怎么来最小公式(1)所示的能量函数，从而得到每个点如公式(1)所示的变换函数。

2. 能量函数优化

我们将公式(1)带入公式(2)得到：
$$E=\sum _i{w}_i|p_{i}M+T-q_i{|}^2\text{\hspace{1em}(4)}$$
为此，我们可以分别对$T$ 和 $M$求导：
$$\frac{\partial E}{\partial T}=2\sum _i{w}_i(p_{i}M+T-q_i)\text{\hspace{1em}(4)}$$
令导数为0，进一步得到 $T$：
$$T=q_{\ast }-p_{\ast }M\text{\hspace{1em}(5)}$$
其中，
$$p_{\ast }=\frac{{\sum }_i{w}_i{p}_i}{{\sum }_i},q_{\ast }=\frac{{\sum }_i{w}_i{q}_i}{{\sum }_i}\text{\hspace{1em}(6)}$$
接下来，我们将公式(5)代回公式（4）：
$$E=\sum _i{w}_i|p_{i}M+q_{\ast }-p_{\ast }M-q_i{|}^2=\sum _i{w}_i|(p_i-p_{\ast })M+q_i-q_{\ast }{|}^2$$
令$\widehat{p_i}=p_i-p_{\ast },\widehat{q_i}=q_i-q_{\ast }$:
$$E=\sum _i{w}_i|\widehat{p_i}M+\widehat{q_i}{|}^2\text{\hspace{1em}(7)}$$
接着对$M$求导，并令导数等于0：
$$M={\left(\sum _i{\hat{p}}_i^T{w}_i{\hat{p}}_i\right)}^{-1}\sum _j{\hat{p}}_j^T{\hat{q}}_j\text{\hspace{1em}(8)}$$
为此，整个变换函数可以进一步表示为：
$$f_a(v)=\left(v-p_{\ast }\right){\left(\sum _i{\hat{p}}_i^T{w}_i{\hat{p}}_i\right)}^{-1}\sum _j{\hat{p}}_j^T{\hat{q}}_j+q_{\ast }\text{\hspace{1em}(9)}$$
这便是仿射变换函数的求解过程，文章还推导了$M$是相似变换和刚性变换的表示形式，这里就不再细讲，具体可以参考原文。

3. 加速方法

文章对这一插值方法进行了加速，具体而言，先对图像做三角剖分，对于每个三角形，首先对三个顶点计算变换函数，然后对三角内部的像素做线性插值计算变形函数，从而得到变形后的位置。

一些变形效果：

参考论文：
[1] Schaefer S, McPhail T, Warren J. Image deformation using moving least squares[M]//ACM SIGGRAPH 2006 Papers. 2006: 533-540.
[2] Zhu Y, Gortler S J. 3D deformation using moving least squares[J]. 2007. (将移动最小二乘推广到3D形状变形)