u010234564的博客

原创 L-BFGS算法的递归推导

L-BFGS算法的递归推导前言BFGS递推关系利用递归形推导L-BFGS算法 前言 L-BFGS(Limited Memory)算法是BFGS算法的改进版本，属于拟牛顿算法类。拟牛顿类算法不需要在优化计算的迭代过程中逐次计算优化方程的海赛矩阵，只需要在优化过程中逐次更新海赛矩阵的伪矩阵即可。而L-BFGS算法的过人之处则在于在算法的运行过程中甚至根本不需要维护伪海赛矩阵，直接由伪海赛矩阵的递归关系...