机器学习的最普遍,最简单的优化问题
x ∗ = min x f ( x ) , x ∈ R n . x^* = \min{_x}f{(x)},x\in R^n. x∗=minxf(x),x∈Rn.
1.梯度下降
梯度下降是一次收敛,梯度方向为下降最快方向,可能会震荡在极值点
可以参考这个链接用python实现
2.牛顿法
牛顿法是二次收敛,收敛速度快,计算速度慢(要计算二阶导数矩阵的逆矩阵)。离极值点比较近的时候,跟原始图像相似才可以。
如果估计出来的图像跟二次图像差的很多的时候会发散,不能使用牛顿法。
可以先使用梯度下降法逼近极值点,再使用牛顿法找到极值点
参考:http://sofasofa.io/tutorials/python_gradient_descent/index.php