SVRG&Lissa&NewSamp实现

SVRG, NewSamp & Lissa 实现

---

具体实现参见Github,算法分析可以参我的一篇二阶算法博客

SVRG, NewSamp & Lissa

这是基于python实现的SVRG, NewSamp, Lissa的baseline.
数据集采用的是Mnist49(手写数据集中的4和9)

SVRG

算法分析

SVRG（Stochastic Variance Reduced Gradient）算法主要是通过对梯度进行Variance Reduced。SVRG是近几年中随机梯度下降算法中很典型的算法，在每个迭代周期开始的时，先计算当前迭代值$w_k$下批量的平均梯度$\nabla R_n({\omega }_k)$。而内层以j为下标的m次循环进行如下更新
g ~ j ← ∇ f i j ( ω ~ j ) − ( ∇ f i j ( ω k ) − ∇ R n ( ω k ) ) \widetilde {g}_j \leftarrow \nabla f_{i_j } (\widetilde{ω}_j ) - (\nabla f_{i_j