【转】解决函数最优化问题算法之 L-BFGS算法

原文： 一文读懂L-BFGS算法
原文链接：https://blog.csdn.net/weixin_39445556/article/details/84502260

L-BFGS算法：有限内存中进行BFGS算法,L是limited memory的意思.
BFGS是四位数学家名字的首字母缩写，Broyden,Fletcher,Goldfarb,Shanno.所以算法的名字就叫做BFGS算法

1. 牛顿法求根问题
2. 牛顿法求函数的驻点
3. 牛顿法求驻点的本质
4. BFGS算法
5. L-BFGS算法

牛顿法求根问题
牛顿发现,一个函数的跟从物理的角度就可以根据函数图像迭代求得.牛顿法求根的思路是:
a.在X轴上随机一点,经过做X轴的垂线,得到垂线与函数图像的交点.
b.通过做函数的切线,得到切线与X轴的交点.
c.迭代a/b两步.