L_BFGS(Limited-memory Broyden-Fletcher-Goldfarb-Shanno)

L_BFGS用于解决无约束最小化问题。

minimize F(x), x = (x1, x2, ..., xN),

当且仅当F(x)及其梯度函数G(x)被计算时成立。

牛顿法要求计算目标函数的逆矩阵，计算拟矩阵时间开销很大，尤其是目标函数取值很多时。而L_BFGS方法通过计算最近m次迭代的逆矩阵的近似值找到一个最小值，实现时间空间上节省计算。

L_BFGS的wiki解释：http://en.wikipedia.org/wiki/Limited-memory_BFGS

提供了L_BFGS的C语言实现：http://www.chokkan.org/software/liblbfgs/