Mini-Batch梯度下降算法

自2017年AlphaGo问世以来，深度学习如火如荼，尤其是在计算机视觉，自然语言处理领域都取得了非凡的进展。然而，深度学习依赖大量的样本，否则容易出现过拟合现象。既然是大量样本，那么对算力有相当的要求。要么硬件更强，要么算法收敛更快。下面介绍一种较快的优化算法–Mini-Batch梯度下降。
${\min }_{w\in {\mathbb{R}}^d}{E}_{\xi }[F(w,\xi )]+g(w)$
算法：Mini-Batch梯度下降

输入：$w^1\in {\mathbb{R}}^d$,

R ∼ u n i f o r m { 1 , 2 , ⋯   , N } R\sim uniform \{1,2,\cdots,N\} R∼uniform{1,2,⋯,N}
for $k=1,2,\cdots ,R-1$
${\zeta }^{\lambda }(w^k)\in pro{x}_{\lambda g}(w^k)$
Sample ${\xi }^k\sim P^M$
$\nabla A_{\lambda M}^k(w^k,{\xi }^k)=\frac{1}{M}{\sum }_{j=1}^M\nabla F(w^k,{\xi }^k)+\frac{1}{\lambda }(w^k-{\zeta }^{\lambda }(w^k))$
$w^{k+1}=w^k-\gamma \nabla A_{\lambda M}^k(w^k,{\xi }^k)$
end for
输出：${\bar{w}}^R\in pro{x}_{\lambda g}(w^R)$