花书-无约束优化

机器学习的最普遍，最简单的优化问题

$$x^{\ast }=\min {}_{x}f(x),x\in R^n.$$

1.梯度下降

梯度下降是一次收敛，梯度方向为下降最快方向，可能会震荡在极值点
可以参考这个链接用python实现

2.牛顿法

牛顿法是二次收敛，收敛速度快，计算速度慢（要计算二阶导数矩阵的逆矩阵）。离极值点比较近的时候，跟原始图像相似才可以。
如果估计出来的图像跟二次图像差的很多的时候会发散，不能使用牛顿法。

可以先使用梯度下降法逼近极值点，再使用牛顿法找到极值点

参考：http://sofasofa.io/tutorials/python_gradient_descent/index.php