牛顿法和拟牛顿法

　　梯度下降在逻辑回归中已经介绍过，它是求解无约束最优化问题的常用方法，而牛顿法和拟牛顿法也是求解无约束最优化问题的常用方法，且收敛速度更快。牛顿法是迭代算法，每一步都需要求解目标函数的海塞矩阵的逆矩阵，计算比较复杂。拟牛顿法通过正定矩阵近似海塞矩阵的逆矩阵或海塞矩阵，简化了这一计算过程。

1.牛顿法

　　考虑无约束最优化问题：

$$\min_{x \in R^n}f(x)$$

其中$x^*$为目标的极小值点。
　　备用知识——一元$f(x)$、二阶泰勒展开

$$f(x)=f(x^{(k)})+f'(x^{(k)})(x-x^{(k)})+\frac{1}{2}f''(x^{(k)})(x-x^{(k)})^2$$

　　假设$f(x)$具有二阶连续偏导数，若第$k$次迭代值为$x^{(k)}$，则可将$f(x)$在$x^{(k)}$附近进行二阶泰勒展开：

$$f(x)=f(x^{(k)})+g_k^T(x-x^{(k)})+\frac{1}{2}(x-x^{(k)})^TH(x^{(k)})(x-x^{(k)})$$

其中，$g_k=g(x^{(k)})=\nabla f(x^{(k)})$是$f(x)$的梯度向量在点$x^(k)$的值，$H(x^{(k)})$是$f(x)$的海塞矩阵(Hesse matrix)：

$$H(X)=[\frac {\partial ^2f}{\partial x_i\partial x_j}]_{n\times n}$$