SGD与OGD

1. 优化知识预备

---

1.1目标函数

首先我们的目标是最小化一个损失函数：
$$L(W,Z)$$
其中$W=(w_1,w_2,...,w_k)$是参数， Z = { ( X i , y i , y ^ i ∣ i = 1 , 2 , . . . , n ) } Z=\{(X_i,y_i,\hat y_i|i=1,2,...,n)\} Z={ (Xi​,yi​,y^​i​∣i=1,2,...,n)}，${\hat{y}}_i=f(W,X_i)$是预测的结果。损失函数通常可以写成各个样本损失函数的累加，即$L(W,Z)={\sum }_{i=1}^{n}L(W,Z_i)$，在我们们确定函数$f$的形式下 $W$ 就是我们求解的目标，而求解的方式就是寻找能使损失函数最小的 $W$。
$$W=\underset{W}{\mathrm{argmin}}L(W,Z)$$

1.2求解方法

对于这样的问题，在问题形式较为简单，我们可以得到问题的解析解，而得到解析解的方法例如拉格朗日乘数法，KKT条件等，但更多的我们还是需要使用数值计算的方式去求解，而梯度下降就是一类经典的数值求解方法，GD算法如下：

其中Z是全体的数据，而在数据量大的情况下出现了SGD：

每次迭代仅仅根据单个样本更新权重?，这种算法称作随机梯度下降法。

1.3算法的评价

什么样的算法是一个好的算法？
对于一个数值求解算法，我们总是希望在能接受的时间内得到一个满足要求的解，在当今大数据的时代背景下，我们还应考虑算法对机器的考验。
综上适用条件，收敛性和收敛速度和可实现性，我认为从这三个方面对一个算法进行评价是比较完整的。

1.3.1 适用条件

算法能够使用的场合往往是有要求的，比如可微，比如强凸等等，使用算法之前要注意使用的环境的配套。

1.3.2 收敛性和收敛速度

为什么要和算法适用的环境配套就是因为在一些极端情况下算法可能求不到最优值（比如陷入局部最优），这个问题可以通过将目标函数改为强凸函数，或者多设几个初始点去解决。除此以外还有一个问题就是算法的收敛性和收敛速度的问题。
收敛性：
算法产生的迭代点列 { x i } \{x_i\} { xi​}在某种范数的意义下满足：
$$\underset{n\to \infty }{\lim }\Vert x_n-x^{\ast }\Vert =0$$
才称算法是收敛的，如果从任意初始点出发都可以收敛到$x^{\ast }$称为是全局收敛，如果仅初始点与$x^{\ast }$足够近的时候才能收敛到$x^{\ast }$称为是局部收敛的。
收敛速度：
在已知收敛的情况下，收敛速度是：
$$\underset{n\to \infty }{\lim }\frac{\Vert x_{n+1}-x^{\ast }\Vert }{\Vert x_n-x^{\ast }{\Vert }^k}=\alpha$$
如果$\alpha \ge 1,k=1$称为次线性收敛
如果$0<\alpha <1,k=1$称为线性收敛
如果$\alpha =0,k=1$称为超线性收敛
如果$0<\alpha <1,k=2$称为二阶收敛

2. SGD、SAG、SVRG

---

SGD类算法的一个问题就是收敛速度不够快，SAG和SVRG是12年13年提出的，作为SGD类算法在收敛速度上的重大突破，下面来介绍这两个算法：

2.1 SAG

在步长为${\alpha }_k$的情况下最小化$\frac{1}{n}{\sum }_{i=1}^n{f}_i(x)$

• $d=0,y_i=0$，对所有的n ∈ { 1 , 2 , . . . , n } \in\{1,2,...,n\} ∈{ 1,2,...,n}
  • for k=0,1,…do
    • 从 { 1 , 2 , . . . , n } \{1,2,...,n\} { 1,2,...,n}中随机抽取一个$i$出来
    • $d=d-y_i+f_i^{\prime }(x)$
    • $y_i=f_i^{\prime }(x)$
    • $x=x-\frac{\alpha }{n}d$
  • end for convergence

2.2 SVRG

最小化$\frac{1}{n}{\sum }_{i=1}^n{\psi }_i(x)$，更新率$m$和学习率$\eta$

• 给定迭代初始值${\hat{w}}_0$
• 开始迭代：
  • for s=0,1,…do
    • $\tilde{w}={\hat{w}}_{s-1}$
    • $\tilde{\mu }=\frac{1}{n}{\sum }_{i=1}^n\nabla {\psi }_i(\tilde{w})$
    • $w_0=\tilde{w}$
    • 迭代:
      • for t = 1,2,…,m
      • 随机从 { 1 , 2 , . . . , n } \{1,2,...,n\} { 1,2,...,n}中选一个$i_t$然后更新权重
      • $w_t=w_{t-1}-\eta (\nabla {\psi }_{i_t}(w_{t-1})-\nabla {\psi }_{i_t}(\tilde{w})+\tilde{\mu })$
      • end
    • 选项1：令${\tilde{w}}_s=w_m$
    • 选项2：令${\tilde{w}}_s=w_t$，$t$是从 { 1 , . . . , m − 1 } \{1,...,m-1\} { 1,...,m−1}中随机选出的。

• end for convergence

3. OGD

---

3.1问题背景

优化问题大数据量并且存在增量学习

3.2 OGD沿着稀疏性主线的发展

3.2.2 简单截断法

3.2.3 TG

3.2.4 FOBOS

3.2.5 RDA

给定一个初始的参数$W^0$，下面开始迭代，$W^{(t)}$的更新方式是：
W ( t + 1 ) = arg min ⁡ W { 1 t ∑ r = 1 t ⟨ G ( r ) , W ⟩ + Ψ ( W ) + β ( t ) t h ( W ) } W^{(t+1)}=\argmin_W\{\frac{1}{t}\sum_{r=1}^t\langle G^{(r)},W\rangle+\Psi(W)+\frac{\beta^{(t)}}{t}h(W)\} W(t+1)=Wargmin​{ t1​r=1∑t​⟨G(r),W⟩+Ψ(W)+tβ(t)​h(W)}
其中$G^{(r)}$是第$r$次迭代中损失函数的梯度（取法是SGD的取法，不是全局的梯度），$⟨G^{(r)},W⟩$表示$G^{(r)}$的一个线性函数（对$W$求一个均值）,$\Psi (W)$是一个正则项，$h(W)$是一个强凸函数（保证迭代的全局最优解唯一），${\beta }^{(t)}$是一个非负不减的序列决定了收敛速率。

3.2.5.1 L1-RDA

取$\Psi (x)$是L1范数$\Psi (x)=\lambda \Vert W{\Vert }_1$，在此情况下我们来看看RDA方法的具体步骤：
不妨取$h(W)=\frac{1}{2}\Vert W{\Vert }_2^2$，${\beta }^{(t)}=\gamma \sqrt{t}$，现在对每个标量进行研究，问题转化为：
arg min ⁡ W { 1 t ∑ i = 1 t g i ( t ) w i + λ ∣ w i ∣ + γ 2 t ∥ w i ∥ 2 2 } \argmin_W\{\frac{1}{t}\sum_{i=1}^tg_i^{(t)}w_i+\lambda|w_i|+\fra