l bfgs算法java代码_优化算法——拟牛顿法之L-BFGS算法

最新推荐文章于 2023-03-08 12:37:00 发布

袁先康

最新推荐文章于 2023-03-08 12:37:00 发布

阅读量419

点赞数

文章标签： l bfgs算法java代码

本文链接：https://blog.csdn.net/weixin_32808853/article/details/114146830

版权

一、BFGS算法

BFGS算法的校正公式：

$gif.latex?B_%7Bk+1%7D=B_k-%5Cfrac%7BB_ks_ks_k%5ETB_k%7D%7Bs_k%5ETB_ks_k%7D+%5Cfrac%7By_ky_k%5ET%7D%7By_k%5ETs_k%7D$

利用Sherman-Morrison公式可对上式进行变换，得到

$gif.latex?B_%7Bk+1%7D%5E%7B-1%7D=%5Cleft&space;(&space;I-%5Cfrac%7Bs_ky_k%5ET%7D%7By_k%5ETs_k%7D&space;%5Cright&space;)%5ETB_k%5E%7B-1%7D%5Cleft&space;(&space;I-%5Cfrac%7By_ks_k%5ET%7D%7By_k%5ETs_k%7D&space;%5Cright&space;)+%5Cfrac%7Bs_ks_k%5ET%7D%7By_k%5ETs_k%7D$

令

$gif.latex?H_%7Bk+1%7D=B_%7Bk+1%7D%5E%7B-1%7D$ ，则得到：

$gif.latex?H_%7Bk+1%7D=%5Cleft&space;(&space;I-%5Cfrac%7Bs_ky_k%5ET%7D%7By_k%5ETs_k%7D&space;%5Cright&space;)%5ETH_k%5Cleft&space;(&space;I-%5Cfrac%7By_ks_k%5ET%7D%7By_k%5ETs_k%7D&space;%5Cright&space;)+%5Cfrac%7Bs_ks_k%5ET%7D%7By_k%5ETs_k%7D$

二、BGFS算法存在的问题

在BFGS算法中。每次都要存储近似Hesse矩阵

$p><p>B_k%5E%7B-1%7D$ ，在高维数据时，存储

$gif.latex?B_k%5E%7B-1%7D$ 浪费非常多的存储空间，而在实际的运算过程中。我们须要的是搜索方向。因此出现了L-BFGS算法。是对BFG

最低0.47元/天解锁文章

袁先康

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
l bfgs算法java代码_优化算法——拟牛顿法之L-BFGS算法

一、BFGS算法BFGS算法的校正公式：利用Sherman-Morrison公式可对上式进行变换，得到令，则得到：二、BGFS算法存在的问题在BFGS算法中。每次都要存储近似Hesse矩阵，在高维数据时，存储浪费非常多的存储空间，而在实际的运算过程中。我们须要的是搜索方向。因此出现了L-BFGS算法。是对BFGS算法的一种改进算法。在L-BFGS算法中。仅仅保存近期的次迭代信息。以减少数据的存储空...
复制链接

扫一扫