牛顿法与拟牛顿法学习心得

1. 引言

在logistics回归中，我们通常使用梯度下降法（Gradient Decend）来优化目标函数。但梯度下降法的策略实际上是比较片面的，因为它只使用了一阶导信息，搜索方向（梯度方向）比较偏向于局部信息。所以，我们引入了牛顿法。
这里推荐一个牛顿法的讲解系列Blog，讲的很好，深入浅出，个人认为比李航大神的推导还要更详细一点。
https://blog.csdn.net/itplus/article/details/21896453
所以关于牛顿法的详细推导本篇不再赘述，下面只说一些总结。

2. 牛顿法

为了在优化过程中得到更好的效果，牛顿法应运而生。其基本思想是，通过二阶泰勒展开引入函数的二阶导信息，这样在优化过程中，优化目标不仅会根据梯度方向、还会根据梯度的变化趋势作改变，以此来加快优化速度。
牛顿法有一些特点：

1. 海塞矩阵必须正定，至于原因下面说。
2. 具有二次收敛性，即当目标函数$f(x)$为二次函数时，牛顿法只需迭代一次就能达到最优值。

牛顿法也有不少缺点：

1. 牛顿法的步长是固定的，所以在高次幂函数下，可能会有局部震动的情况，即$f(x_{k+1})>f(x_k)$
2. $f(x)$必须有二阶连续偏导数，否则无法用泰勒公式展开。

2.1 为什么海塞矩阵必须正定

假设目标函数的x是个标量，那么对$f(x)$在第k次迭代结果的$x^{(k)}$处附近用泰勒公式二阶展开：$$f(x)=f(x^{(k)})+f\prime (x^{(k)})(x-x^{(k)})+\frac{1}{2}f\prime \prime (x^{(k)})(x-x^{(k)}{)}^2$$
高等数学中有一个经典的推论，即某个具有二阶连续导数的函数，当某个点x的一阶导为0，二阶导>0时，则x为极小值点。我们在优化目标函数时，往往都是把优化问题作为一个极小化问题考虑。
所以当目标函数的x是个向量时，式中的$\frac{1}{2}f\prime \prime (x^{(k)})$就变成了$H(x)$(Hesse matrix), 正定矩阵有一个必要条件 即 特征值$\lambda >0$，直观上理解就是矩阵所代表的某个常数大于零，也就对应了二阶导>0这一项。所以当$H(x)$正定时，可以推断目标函数的优化方向是最小化方向，只有这样才能继续优化下去。

3.拟牛顿法

牛顿法固然收敛速度快，但其弱点也十分明显，条件苛刻都是其次，单是对$H(x)$求逆这一步操作就十分繁琐。所以引入了拟牛顿法，即“类似牛顿法的方法”，通过将$H(x)$替换为一个满足拟牛顿条件的近似矩阵$G(x)$来简化操作，使优化过程中不用再求二阶导和矩阵的逆，这样也就大大提高了优化的性能。
关于牛顿法与拟牛顿法的更加细节的问题，参阅开头推荐的博文即可。