牛顿、拟牛顿法以及其他优化方法的R实现

\quad 牛顿法（Newton method）和拟牛顿法（quasi Newton method）是求解无约束最优化问题的常用方法，有收敛速度快的优点。

1. 牛顿法

考虑无约束最优化问题
$$mi{n}_{x\in R^n}f(x)$$
其中$x^{\ast }$为目标函数极小点。
假设$f(x)$有二阶连续偏导数，若第k次迭代值为$x^{(k)}$,则可将$f(x)$在$x^{(k)}$附近进行二阶泰勒展开：
$$f(x)=f(x^{(k)})+g_k^T(x-x^{(k)})+\frac{1}{2}(x-x^{(k)}{)}^{T}H(x^{(k)})(x-x^{(k)})$$
这里，$g_k=g(x^{(k)})=▽f(x^{(k)})$是 f ( x ) f(x)