《Supervised Descent Method and its Applications to Face Alignment》阅读笔记

摘要

很多计算机视觉方面的问题（相机校正、图片对齐、运动轨迹结构等）都通过最优化非线性问题得到解决。二阶下降算法是目前公认的最强大、最快速、最可靠地方法。但是二阶下降算法有两个主要的缺点：一是函数可能不可微因此不能在数值上进行逼近；二是 Hessian 矩阵非常大而且不正定。
因此本文提出了 SDM 算法解决非线性最小二乘问题。
基于一阶和二阶解决非线性优化问题的方法很多，例如用于解决降维的梯度下降算法；用于图片对齐的高斯-牛顿法以及用于运动轨迹的 Levenberg-Marquardt 算法。

一、 牛顿法

尽管牛顿法的历史已经比较悠久，但它依然被当作主要的优化工具当函数的二阶导数存在的时候。