机器学习中几种常见优化方法总结

1、梯度下降法

假设f(x)是具有一阶连续偏导数的函数。要求解的无约束最优化问题是:

梯度下降法是一种迭代算法，选取适当的初值x(0)，不断迭代更新x的值，进行目标函数的极小化，直到收敛。由于负梯度方向是使得函数值下降最快的方向，所以在迭代的每一步，以负梯度方向更新x的值，从而达到减少函数值的目的。f(x)具有一阶连续偏导数，若第k次迭代值为x(k),则可将f(x)在x(k)附近进行一阶泰勒展开:

gk是f(x)在x(k)附近的梯度。

2、牛顿法

牛顿法和拟牛顿法也是求解无约束最优化问题的常用方法。

牛顿法的基本思想是用迭代点 x k 处的一阶导数（梯度 g k ）和二阶倒数（海森矩阵 G k ）对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点。牛顿法是迭代算法，每一步需要求解目标函数的海森矩阵的逆矩阵，计算比较复杂。拟牛顿法通过正定矩阵近似海森矩阵的逆矩阵或海森矩阵，简化了这一计算过程。

假设f(x)是具有二阶连续偏导数的函数。要求解的无约束最优化问题是:

假设f(x)具有二阶连续偏导数，若第k次迭代值为x(k),则可将f(x)在x(k)附近进行二阶泰勒展开: