牛顿法及拟牛顿法（L-BFGS）

为了搞懂L-BFGS，发现资料很少。

注意点：在牛顿法中，当H（x）是正定矩阵的时候，函数f(x)的极值为极小值。

由于很多H(x)都是非正定的，所以引入了拟牛顿法。

在拟牛顿法中，令x=xk，这样就得到了式子（5）,这个式子在李航的书中没有给出具体解释，这里我秒懂了。。。式子（5）上方的文字也很重要。可以利用s和y来表示H。。

L-BFGS的基本思想是存储有限次数（如次）的更新矩阵，如果 > 的话就舍弃次以前的，也即L-BFGS的记忆只有次。如果，则L- BFGS等价于标准的BFGS公式。

参考链接及文献：

http://blog.pfan.cn/miaowei/52925.html

李航的《统计学习方法》附录B