xfzero的博客

二阶随机优化算法标签（空格分隔）： L-BFGS NewSample Lissa最近看了几篇二阶优化算法，现在总结一下，以便日后查阅二阶算法 二阶优化算法又称为牛顿法，牛顿法是微积分学中， 通过迭代以求解可微函数f的零点的一种算法，而在最优化中，牛顿法通常被运用于求解一个二次可微函数f的一阶导数f’的零点x， 同时也是f的驻点。 因此从另一个角度而言，应用于最优化中的牛顿法...

梯度下降一类算法小结标签（空格分隔）： 梯度下降以下内容为*An overview of gradient descent optimization algorithms*读后笔记梯度下降算法变种算法概览最经典的梯度下降算法有:1.梯度下降(Batch gradient descent) 2. 随机梯度下降(Batch gradient descent) 3. m...

牛顿法 二阶优化算法又称为牛顿法，牛顿法是微积分学中， 通过迭代以求解可微函数f的零点的一种算法，而在最优化中，牛顿法通常被运用于求解一个二次可微函数f的一阶导数f’的零点x， 同时也是f的驻点。 因此从另一个角度而言，应用于最优化中的牛顿法是求解函数 f(x)的最小值或最大值的一种算法。考虑无约束最优化问题minx∈Rnf(x)minx∈Rnf(x) min _{x \in R...

SVRG, NewSamp & Lissa 实现具体实现参见Github,算法分析可以参我的一篇二阶算法博客SVRG, NewSamp & Lissa这是基于python实现的SVRG, NewSamp, Lissa的baseline数据集采用的是Mnist49(手写数据集中的4和9)SVRG算法分析SVRG（Stochastic Varia...

线性收敛的随机L-BFGS算法以下皆为翻译A Linearly-Convergent Stochastic L-BFGS Algorithm 原文链接 六级没过,莫怪概要我们提出了一个新的随机L-BFGS算法,并证明其对强凸连续函数可以达到线性收敛.我们的算法很大程度上基于最近在Byrd(2014)提出的L-BFGS算法的随机变种,以及Johnson和Zhang最近所提出的对于随...

python 多进程执行任务最近在写分布式优化, 想要实现简单的并行程序, 实现Parameter Server结构的一类sgd算法看他们收敛性. 并行可以充分利用CPU/GPU资源, 加快训练. 对于一些简单的任务却有多个baseline, 我们就可以并行跑, 调试贼爽.这里主要用到python中的Pipe来进行通讯代码实现from multiprocessing import *f...