Supervised Descent Method and its Applications to Face Alignment

版权声明:本文为博主原创文章,转载请注明原地址。 https://blog.csdn.net/xiamentingtao/article/details/47306887

广播说明:
进入深度学习时代,如下的方法已经失去可比性,且我们的代码实现地很粗糙,如果坚持要用,推荐如下代码
https://github.com/wanglin193/SupervisedDescentMethod (看起来作者对sdm实现的不错)

另外一篇基于深度学习的基于回归的方法,也是使用的基于SDM的相同的思路,但是全部深度学习化,
更加鲁棒。 见:《Stacked Hourglass Network for Robust Facial Landmark Localisation》


本方法是当前人脸对齐最流行的算法,速度很快,很稳定。下面我将介绍一下这篇文章的整体思路和相关细节。
在介绍之前,先给出几个有用的链接:
1.)
本论文作者主页,形象地介绍了SDM的特点:
http://xiong828.github.io/sdm.html
2. )
superviseddescent C++11版本的实现:
http://patrikhuber.github.io/superviseddescent/
下面开始介绍:
人脸对齐就是要找人脸的特征点。如图

我们要找到眼睛、鼻子、嘴巴等特征点。那么如何去做呢?方法有很多。本文讲述了使用SDM去求特征点的方法。假设我们有一个初始的特征点x0,希望通过迭代,逐步求出准确地特征点x。这就是大致的思路。

SDM方法(Supervised Descent Method )

Derivation of SDM

给定一幅含有m个像素的图像dRm×1,d(x)Rp×1用来索引图像的p个特征点,x代表p个特征点。h(d(x))R128p×1代表SIFT特征向量。在训练阶段,我们假设准确的p个特征点已知,设为x。我们另外选取训练集特征点的平均值x0作为初始值。如图:

这样,Face Alignment可以通过在Δx求解如下的最优化问题:

f(x0+Δx)=||h(d(x0+Δx))Φ||22

这里Φ=h(d(x))代表手工标记的特征点的SIFT特征。在训练阶段,ΦΔx已知。
f(x0+Δx)f(x0)+Jf(x0)TΔx+12ΔxTH(x0)Δx

对上面关于Δx求导,令f(x0+Δx)=0,可得
Δx1=H1Jf=2H1JhT(Φ0Φ)

,这里Φ0=h(d(x0)).
R=2H1JhTΔΦ0=Φ0Φ,于是R可看作Δx1ΔΦ0的线性回归系数。但是,我们知道在测试阶段,Φ是未知的,但是固定的。因此我们不再使用Φ做训练,而是改用下面的公式:
Δx1=2H1JhT(Φ0Φ)Δx1=2H1JhTΦ0+(2H1JhT)(Φ)Δx1=RΦ0+b0

使用训练样本,我们的方法可以学习R0,b0.
通常这种方法不可能一步迭代完成,需要进行多步,除非f是二次的。为了处理这个非二次的方程,SDM将产生一系列的下降方向{Rk}和偏差{bk}.

(1)xk=xk1+Rk1Φk1+bk1(1)
,使得对于训练图片集,xk将收敛到x.

Learning for SDM

假定给定一系列人脸{di}与对应的特征点{xi}.对于每张图片,从初始的特征点x0i出发,R0,b0可以通过求解最优化问题获得:

argR0minb0dip(x0i)||ΔxiR0Φ0ib0||2dx0i

这里Δxi=xix0i,Φ0i=h(di(x0i)).
我们假定x0i可以从服从正态分布的人脸检测框对齐采样。于是上面的最优化问题化为:
argR0minb0dix0i||ΔxiR0Φ0ib0||2

以上方程是个线性的最优化问题,可以直接求解。
当第一步求解完毕后,代入方程式(1),可以求出x1,进而又可以计算特征向量Φki=h(di(xki))Δxki=xixki.这样Rk,bk可以通过一个新的线性回归得到。
argRkminbkdixki||ΔxkiRkΦkibk||2

随着k的增大,误差逐渐减小,一般4到5次的迭代就可以达到比较好的效果。

Training for SDM

当我们计算出一系列的{Rk},{bk},我们就可以通过迭代式(1)通过迭代求解特征点。一般初始的特征点可以选取训练时的初始特征点。
后续我们还会给出SDM方法的Matlab代码及相关说明,你就会看到比较清楚的步骤和效果了。

阅读更多

扫码向博主提问

xiamentingtao

随便问吧,无论学术还是人生
  • 擅长领域:
  • cv
  • math
  • 考博
  • 算法
  • AI
去开通我的Chat快问
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页