本文详细介绍了L-BFGS算法，这是一种解决无约束非线性规划问题的高效方法，常用于机器学习。文章从泰勒展开、最速下降法、牛顿法、拟牛顿法等方面进行讲解，特别指出L-BFGS因内存开销少和快速收敛而优于梯度下降。同时，提到了L-BFGS的有限存储变种，适合高维应用场景。此外，还讨论了与L1正则相关的OWL-QN算法以及百度的Shooting算法和Chih-Jen Lin的信赖域牛顿方法。
本文由作者林洋港授权网易云社区发布。
一、 L-BFGS是什么
L-BFGS是解无约束非线性规划问题最常用的方法，具有收敛速度快、内存开销少等优点，在机器学习各类算法中常有它的身影。简单的说，L-BFGS和梯度下降、SGD干的同样的事情，但大多数情况下收敛速度更快，这点在大规模计算中很重要。下图是深度学习Autoencoder模型不同优化方法的比较。
二、 L-BFGS“之前”的那些方法
这里的“之前”并不是说L-BFGS问世之前就已经存在的方法，而是指为了更好的理解L-BFGS需要了解的其他方法。无约束问题定义：
我们先从泰勒展开开始，这可以说是本文介绍的所有方法的基础。f在
的一阶泰勒展开为
二阶泰勒展开为
去掉最后的余项，得到
2.1 最速下降法(Gradient descent)
CD算法的一个前提条件就是f在
连续可微，并且在
处的导数不为0。由公式1可知当第二项<0时f的值将下降。由Cauchy-Schwartz不等式可得
为最速下降方向。因此迭代公式为
最低0.47元/天 解锁文章
1054
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
