图像形变算法

图像形变算法

参考：特效：脸部变形分析

需要注意的是，以下算法计算的都是形变的逆变换，即对于当前点计算形变前的像素坐标。

局部调整算法：基于1993年Andreas Gustafsson的文章 Interactive Image Warping

图像局部缩放算法（大眼或小眼）

参考：图像美容之眼睛放大算法。
参考：大眼之膨胀算法
参考：在OpenGL中利用shader进行实时瘦脸大眼等脸型微调

原算法来源于上述论文的局部缩放方法，以下方法为改进后。

包含三个参数：中心点$O(X,Y)$，画笔大小（半径）$r$，力度$s$。
中心点以及画笔大小决定算法影响范围，力度影响缩放程度。
算法主要思想：处理以中心点为原点，画笔大小为半径的范围内像素，将范围内像素替换成该像素与中心像素连线上的某一点像素值。

设中心点$O(X,Y)$，画笔大小（半径）$r$，力度$s$
（1）对于范围内任意像素点$(x1,y1)$, 计算其与中心点的距离平方 $d^2=（x1-X{）}^2+(y1-Y{)}^2$。
（2）计算缩放比例因子：$k=1-(s/100)\ast (1-\frac{d^2}{r2})$
（3）计算对应的新像素点坐标：$x=(x1-X)\ast k+X$, $y=(y1-Y)\ast k+Y$

局部图像平移算法（瘦脸）

参考：人脸形变算法——液化变形
参考：大眼瘦脸

参数：中心点 $C$，半径为$r$，平移方向为$\vec{m}-\vec{c}（即\overrightarrow{CM}）$，范围内点$U$变换到$U^{{}^{\prime }}$。$M$点为中心点对应的变换点。
主要思想：对于圆形范围内任意一点，求出变换前对应的浮点坐标，用变化前图像在$U$点附近的像素进行插值，求出$U$的像素值，作为变换后$U^{{}^{\prime }}$点的像素值。

设中心点 $C$，半径为$r$，平移方向为$\vec{m}-\vec{c}（即\overrightarrow{CM}）$，范围内点$U$变换到$U^{{}^{\prime }}$：

（1）求出半径平方 $r^2$和变换后点$U^{{}^{\prime }}$到中心点$C$距离的平方$d^2=|\vec{x}-\vec{c}{|}^2$
（2）求出平移系数$(\frac{r^2-d^2}{(r^2-d^2)+(|\vec{m}-\vec{c}{)}^2}{)}^2$ 和平移方向$|\vec{m}-\vec{c}|$
（3）计算

特点：
中心点变换的距离最大，圆周处不变换。

全局点位变形算法：基于2006年Scott Schaefer的文章Image deformation using moving least squares

全局点位变形

基于移动最小二乘图像变形算法（MLS）

参考论文：Image Deformation Using Moving Least Squares
参考：移动最小二乘法（MLS）对图像进行变形
参考：利用MLS移动最小二乘法对图像变形
参考：卡通图像变形算法（Moving Least Squares）附源码
最小二乘法：根据一组测量数据来预估函数参数的方法。该方法求得的函数参数满足函数值在这一组测量数据中获得最小误差平方和。

MLS主要思想：给定一组控制点$p_i$和对应的变换后的点$q_i$，针对图像上的每个像素点$v$构建相应的仿射变换$l_v(x)$，使得误差的平方和最小：
$$\sum _i{w}_i|l_v(p_i)-q_i{|}^2$$
其中$w_i$的值与$v$有关：$w_i=\frac{1}{|p_i-v{|}^{2\alpha }}$。这样对于每一个像素点$v$都能求出对应的变换函数$l_v(x)$。
仿射变换$l_v(x)$由两部分组成：线性变换和平移变换。因此仿射变换又可以写成$l_v(x)=xM+T$。代入上式得：
$$\sum _i{w}_i|p_{i}M+T-q_i{|}^2$$。
现在的目标是求出$M$和$T$使得上述式子结果最小。令上述式子对$T$的偏导为0，得到：
$$2\sum _i{w}_i(p_{i}M+T-q_i)=0$$
解得：$T=\frac{{\sum }_i{w}_i{q}_i-{\sum }_i{w}_i{p}_{i}M}{{\sum }_i{w}_i}$， 令$q^{\ast }=\frac{{\sum }_i{w}_i{q}_i}{{\sum }_i{w}_i}$，$p^{\ast }=\frac{{\sum }_i{w}_i{p}_i}{{\sum }_i{w}_i}$，则 $T=q^{\ast }-p^{\ast }M$。因此，$l_v(x)$可以改写为$l_v(x)=xM+T=xM+q^{\ast }-p^{\ast }M=(x-p^{\ast })M+q^{\ast }$。

上述平方和公式可以改写为
$$\sum _i{w}_i|l_v(p_i)-q_i{|}^2=\sum _i{w}_i|(p_i-p^{\ast })M+(q^{\ast }-q_i){|}^2=\sum _i{w}_i|(p_i-p^{\ast })M-(q_i-q^{\ast }){|}^2$$
令${\hat{p}}_i=p_i-p^{\ast }$，${\hat{q}}_i=q_i-q^{\ast }$。上述式子改写为${\sum }_i{w}_i|{\hat{p}}_{i}M-{\hat{q}}_i{|}^2$。
将式子展开可得${\sum }_i{w}_i|{\hat{p}}_{i}M-{\hat{q}}_i{|}^2={\sum }_i{w}_i({\hat{p}}_{i}M-{\hat{q}}_i)({\hat{p}}_{i}M-{\hat{q}}_i{)}^T$

$$\begin{array}{rl}\sum _i{w}_i|{\hat{p}}_{i}M-{\hat{q}}_i{|}^2& =\sum _i{w}_i({\hat{p}}_{i}M-{\hat{q}}_i)({\hat{p}}_{i}M-{\hat{q}}_i{)}^T\\ & =\sum _i{w}_i({\hat{p}}_{i}M({\hat{p}}_{i}M{)}^T-{\hat{p}}_{i}M{\hat{q}}_i^T-{\hat{q}}_i({\hat{p}}_{i}M{)}^T+{\hat{q}}_i{\hat{q}}_i^T)\\ & =\sum _i{w}_i({\hat{p}}_{i}M{M}^T{\hat{p}}_i^T-2{\hat{p}}_{i}M{\hat{q}}_i^T+{\hat{q}}_i{\hat{q}}_i^T)\end{array}$$

注意，根据矩阵的性质有，$({\hat{p}}_{i}M{)}^T=M^T{\hat{p}}_i^T$，另外标量的转置等于该标量自身，${\hat{q}}_i({\hat{p}}_{i}M{)}^T$为标量，因此${\hat{q}}_i({\hat{p}}_{i}M{)}^T={\hat{p}}_{i}M{\hat{q}}_i^T$。（可以假设${\hat{p}}_i$为1x2的行向量，矩阵M为2x2的矩阵）

我们需要求得令上述和式最小化的$M$的值，令上述和式子对$M$求偏导，
$$\begin{array}{rl}\frac{\partial f}{\partial M}& =\sum _i{w}_i(\frac{\partial (({\hat{p}}_i^T{)}^T(M^T{)}^T{M}^T{\hat{p}}_i^T)}{\partial M}-2{\hat{p}}_i^T{\hat{q}}_i)\\ & =\sum _i{w}_i([\frac{\partial (({\hat{p}}_i^T{)}^T(M^T{)}^T{M}^T{\hat{p}}_i^T)}{\partial M^T}{]}^T-2{\hat{p}}_i^T{\hat{q}}_i)\\ & =\sum _i{w}_i(2[M^T{\hat{p}}_i^T{\hat{p}}_i{]}^T-2{\hat{p}}_i^T{\hat{q}}_i)\\ & =\sum _i{w}_i(2{\hat{p}}_i^T{\hat{p}}_{i}M-2{\hat{p}}_i^T{\hat{q}}_i)\\ & =2\sum _i({\hat{p}}_i^T{w}_i{\hat{p}}_{i}M-{\hat{p}}_i^T{w}_i{\hat{q}}_i)\end{array}$$

注意，根据标量函数$f$对矩阵$M$求偏导的性质，有$\frac{\partial f}{\partial (M^T)}=[\frac{\partial f}{\partial M}{]}^T$，$\frac{\partial (x^T{A}^{T}Ax)}{\partial A}=2Ax{x}^T$，$\frac{\partial (u^{T}Av)}{\partial A}=u{v}^T$

令上述求得的偏导结果为0，可得$2{\sum }_i({\hat{p}}_i^T{w}_i{\hat{p}}_{i}M-{\hat{p}}_i^T{w}_i{\hat{q}}_i)=0$，解得$M=[{\sum }_i({\hat{p}}_i^T{w}_i{\hat{p}}_i){]}^{-1}{\sum }_i({\hat{p}}_i^T{w}_i{\hat{q}}_i)$
添加不同的限制条件对转换矩阵$M$进行条件限制后，可以得到三种不同形式的转换矩阵$M$：仿射变形、相似变形和刚性变形。

头部姿态(roll、yaw、pitch)

参考：
[1] 人脸实战之角度检测篇