三种常用的迭代搜索优化方法

三种常用的迭代搜索优化方法

梯度下降 牛顿法 坐标上升

---

因为梯度下降和牛顿法都是非常常用的，在前面的文章中也做过总结，这里不做详细说明。
梯度下降与牛顿方法是两种非常常用的迭代优化方法，主要的思想就是通过迭代，一步一步地逼近最优解。

---

梯度下降比较直观，沿着梯度的反方向进行搜索，属于典型的贪婪算法，迭代搜索的每一步都是当前最优的下降方向，但在全局看来可能并不是最优的下降曲线；所以梯度下降法的初始值如果比较好的话，比如想象一下目标函数曲线像是一个连绵起伏的山峰，如果初始值能够初始在具有最低谷的坡面上，通过梯度下降一定能够得到全局的最优值；而如果初始值不好，站在了一个较高山谷的坡面上，通过常规的梯度下降法，只能搜索到该局部最优的山谷低，而不能从该山谷爬出来，重新搜索更低谷。要改善梯度下降这一局部最优困境的方法，可以采用模拟退火，让搜索具有一定概率爬坡能力，即在搜索到了较高山谷时，使之有一定的概率爬出山谷，继续搜索。具体的可以参看随机神经网络一章节的文章，《随机神经网络之模拟退火》

---

牛顿法则是通过分析极大和极小值处曲线的特性，通过求导，并使导数为0，构造典型的