人脸变形算法——MLS

最新推荐文章于 2022-11-01 16:40:01 发布

萌新调包员

最新推荐文章于 2022-11-01 16:40:01 发布

阅读量3.2k

点赞数 3

分类专栏：图像处理文章标签：计算机视觉算法

本文链接：https://blog.csdn.net/tuntunmmd/article/details/106211053

版权

图像处理专栏收录该内容

3 篇文章 0 订阅

订阅专栏

Similarity Deformation

Rigid Deformation

论文信息

论文链接：《Image Deformation Using Moving Least Squares》

基础介绍

刚性变换：平移+旋转（只有物体的位置和朝向发生改变，而形状不变，得到的变换成为刚性变形）

相似变换：平移+旋转+缩放

仿射变换：平移+旋转+缩放+倾斜+翻转

MLS

Moving Least Squares Deformation

p：一列控制顶点
q：控制顶点变换后的坐标

给定图上的一点，求解一个最优的放射变换来最小化

其中 $\large ^{p_{i}}$ 和 $\large ^{q_{i}}$ 都是行向量，每行的分量为点的坐标，权重 $w_{i}$ 有如下的形式

因为该最小二乘问题中的权重 $w_{i}$ 独立于变形后的点，所以我们称之为移动最小二乘最小化。对于不同的，可以得到不同的变换 $l_{v}(x)$ 。由于 $l_{v}(x)$ 是仿射变换，所以可以写成

令原始的优化函数对T求偏导并令其为0，解出

其中 $q^{*}$ 和 $p^{*}}$ 是原来一系列控制顶点的加权质心，

所以有

所以原优化函数可以修改为

其中 $\hat{p}_{i}=p_{i}-p^{*},\hat{q}_{i}=q_{i}-q^{*}$ ，考虑二维图像时，M就是一个2x2的矩阵。

Affine Deformation

要找一个仿射变换来极小化方程（4），直接用古典方法求解优化问题得

从而我们可以写成仿射变换的表达式

又因为 $\large ^{p_{i}}$ 是固定的，所以上式可以变为

其中 $\large ^{A_{j}}$ 可以预计算

直接做仿射变换会存在一些问题：原图中的网络点阵是排列整齐的，变换到目标图像中后便不再排列整齐，由于是浮点数运算，所以有一些点会变换到目标图的同一个点上，而目标图的有一点没有任何点从原图变换过来，这就会导致变换之后的图像产生白色的镂空。解决该问题的一个比较简单的办法就是对原始图像做逆变换，这相当于在目标图像的网格点阵上计算原图中对应的点，即已知 $f_{a}(v)$ 求解对应。计算公式如下：

Similarity Deformation

实际上仿射变换包含了非一致性的平移和缩放，实际上的许多物体并不会发生这么复杂的变化。相似变换是仿射变换的一个子类，仅包含平移、旋转和一致的缩放。为了满足相似变换的性质，我们限制矩阵M满足 $M^{T}M=\lambda ^{2}I,\exists\lambda$ 。如果M是分块矩阵，有 $M=(M_{1},M_{2})$ 的形式，其中 $M_{1},M_{2}$ 的长度为2的列向量，那么对于M的限制可以变为 $M_{1}^{T}M_{1}=M_{2}^{T}M_{2}=\lambda_{2}$ ，并且 $M_{1}^{T}M_{2}=0$ 。这个限制意味着，其中是一个作用于二维向量的算子使得。这样原来的目标方程（4）可以修改为

该二次方程有唯一的最优值，从而可以得到最优点M

其中 $\mu _{s}=\sum _{i}\omega _{i}\hat p_{i}\hat p_{i}^{T}$ 。从而得到最终的变换公式

其中 $A_{i}$ 是

类似的我们可以得到逆相似变幻的公式

其中

Rigid Deformation

进一步地，我们要求变幻中不包括一致缩放，即限制变为 $M^{T}M=I$ 。先给出一个定理，这个定理说明了刚性变换和相似变换的关系。

定义一.令C是可以极小化如下相似问题的矩阵

如果C写成 $\lambda R$ 的形式，R是一个旋转矩阵， $\lambda$ 是一个标量，那么旋转矩阵R极小化如下的刚性问题

根据定理我们知道刚性变化恰好就是方程（8），除了把其中的 $\mu _{s}$ 替换为 $\mu _{r}$

令

其中 $A _{i}$ 由式（9）定义，最后的变换公式为

上述变换公式不易求的其逆变换，所以近似的使用如下逆变换

其中

萌新调包员

关注

3
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
人脸变形算法——MLS

目录论文信息基础介绍MLSAffine DeformationSimilarity DeformationRigid Deformation论文信息论文链接：《Image Deformation Using Moving Least Squares》基础介绍刚性变换：平移+旋转（只有物体的位置和朝向发生改变，而形状不变，得到的变换成为刚性变形）相似变换：平移+旋转+缩放仿射变换：平移+旋转+缩放+倾斜+翻转MLSMoving Least Squares
复制链接

扫一扫