机器学习萌新必备的三种优化算法（牛顿法、梯度下降法、最速下降法）

找到一个合理的优化算法是机器学习的重要问题，本文从理论角度来选择优化算法

推荐斯坦福大学凸优化课程：https://study.163.com/course/introduction.htm?courseId=1006397029#/courseDetail?tab=1

对待优化函数的基本假设：一般假设我们处理的函数的导数是连续的。对于牛顿法，函数的二阶导数必须也是连续的，我们假设函数是凸函数，从而保证局部最优解也是全局最优解。

• 1.牛顿法：

           单变量：

           多变量：对于单变量的情况，牛顿法比较可靠。

                         由于矩阵转换的算法复杂度是非常高的，因此牛顿法并不适用

• 2.梯度下降：机器学习中最常见的优化算法，在每次迭代中像梯度方向走一小步，同时包括学习率learning_rate.