Supervised Descent Method 简单实现

最新推荐文章于 2018-12-27 10:30:00 发布

dragonag

最新推荐文章于 2018-12-27 10:30:00 发布

阅读量4.4k

点赞数 1

文章标签：机器学习 alignment Computer Vision

本文链接：https://blog.csdn.net/dragonag/article/details/42215197

版权

本文介绍了Supervised Descent Method (SDM)，一种基于机器学习解决复杂最小二乘问题的方法。通过学习梯度下降方向和建立回归模型，SDM有效地估计梯度和Hessian矩阵的乘积，避免直接求解Hessian矩阵。文中以牛顿法为背景，阐述了SDM如何通过模拟牛顿法过程，使用迭代公式逼近最优解，并通过贪心算法优化模型参数。最后，展示了SDM在一维函数实例中的应用。

摘要由CSDN通过智能技术生成

前些天看了Supervised Descent Method and Its Applications to Face Alignment这篇文章，非常喜欢。这篇文章提出了一种基于机器学习来解决复杂最小二乘问题(least squares problem)的方法(简称SDM方法)。该方法思路很简洁，从训练数据中学习梯度下降的方向并建立相应的回归模型，然后利用得到的模型来进行梯度方向估计。

牛顿法是迭代求解最小二乘问题的常用方法，但是由于直接求Hessian矩阵往往代价非常高，人们常常采用别的方法来近似Hessian矩阵。这些采用近似Hessian矩阵的方法成为拟牛顿法。只要估计的Hessian矩阵足够接近真实的Hessian矩阵，拟牛顿法就可以高效地解决最小二乘问题。即便如此，从最小二乘的代价函数估计梯度、Hessian矩阵对于某些复杂的最小二乘问题仍然是非常困难的(或者根本就不可能)，比如这篇文章中提到的关于SIFT特征的梯度以及Hessian矩阵。

那么能不能从别的角度来估计Hessian矩阵和梯度向量，或者，Hessian矩阵的逆与梯度向量的乘积呢？(其实对于牛顿法而言，梯度向量与Hessian逆矩阵的乘积直接决定了优化方向，所以如果可以直接估计他们