spark L-BFGS实现

最新推荐文章于 2023-04-09 15:10:23 发布

snaillup

最新推荐文章于 2023-04-09 15:10:23 发布

阅读量1.7k

点赞数

分类专栏： spark 文章标签： spark L-BFGS 逻辑回归

本文链接：https://blog.csdn.net/snaillup/article/details/53524415

版权

spark 专栏收录该内容

20 篇文章 2 订阅

订阅专栏

本文回顾了L-BFGS的快速算法，并详细解释了Spark如何利用breeze库实现这一算法。在Spark的LBFGS.ApproximateInverseHessian类中，通过重载*运算符来实现关键步骤，如变量memStep与si对应，memGradDelta对应yi等。算法的细节包括D0k的计算、alpha的调整以及反向和前向循环的巧妙运用，以适应内存中存储的历史梯度和步长顺序。

摘要由CSDN通过智能技术生成

                    
                    我们将之前文章中LBFGS的快速算法重新复习下 
 
spark 实现 
 spark是直接调用的breeze库中的算法，具体是在LBFGS.AppoximateInverseHessian类重载了*运算符，代码在breeze.optimize包中的LBFGS.scala的105-140行，其中变量与上文算法中的对应关系，memStep对应si，memGradDelta对应yi，diag是每轮的初始值， 
 
     D0k=sTk−1yk−1/yTk−1yk−1 
     
 ，as是alpha，算法中的rho与这里是倒数关系。dir是要返回结果变量，在后向循环中可以认为是q，在前向循环中是r。注意到这里第一轮for训练是从0到historyLength，第二轮是从historyLength到0，与算法的次序正好相反，这是因为在memStep和memGradDelta中，最新的值是存在最前面的（insert，s(k), s(k-1), …, s(0),在update函数中可以看到），在算法中最新的值是往后放的（append, s(0), s(1), …, s(k)）。算法第一轮for的使用次序应该是从sk到s0，对应到这里就应该是s0到sk，因此index的次序是反的。