BFGS算法中需要一个N*N的矩阵,当N很大时存储这个矩阵变得很耗费计算机资源,L-BFGS算法是对BFGS算法的改造,减少期迭代过程中产生的内存开销
总结:牛顿法不仅使用了梯度还使用了梯度下降的趋势,所以能加速下降;DFP和BFGS为了弥补牛顿法的不足(海森矩阵必须可逆),它们使用迭代法分别近似海森矩阵的逆和它自身;L-BFGS是为了减小内存开支,用向量代替矩阵(其中用到近似)
BFGS算法中需要一个N*N的矩阵,当N很大时存储这个矩阵变得很耗费计算机资源,L-BFGS算法是对BFGS算法的改造,减少期迭代过程中产生的内存开销
总结:牛顿法不仅使用了梯度还使用了梯度下降的趋势,所以能加速下降;DFP和BFGS为了弥补牛顿法的不足(海森矩阵必须可逆),它们使用迭代法分别近似海森矩阵的逆和它自身;L-BFGS是为了减小内存开支,用向量代替矩阵(其中用到近似)
转载于:https://www.cnblogs.com/Aaron12/p/9041413.html