随机梯度下降求解非平滑优化：收敛结果和最优平均策略。

参考文献：Stochastic Gradient Descent for Non-smooth Optimization:
Convergence Results and Optimal Averaging Schemes

文章分析了：

- Individual SGD Iterates的收敛性。
-
对于强凸的情况，期望误差为：

$$O(log(T)/T)$$
对于一般凸的情况，期望误差为：
$$O(log(T)/\sqrt{T})$$
算法结束后，返回最后一次迭代的结果。
- Averaging Schemes的收敛性。
-
对于强凸的情况，期望误差为：
$$O(1/T)$$
对于一般凸的情况，期望误差为：
$$O(1/\sqrt{T})$$
算法结束后，返回多次迭代的平均结果（依据不同的算法，产生不同的平均策略）
定义：
$\lambda -strongly\quad convex$ ：
如果对于所有的 $w$,$w'\in W$,以及函数 $F$在$w$处的任意梯度，下面的不等式成立：
$$F(w')\geq F(w)+<g,w'-w>+ \frac{\lambda}{2}||w'-w||^2$$
其中， $\lambda>0$。那么，那么称函数 $F$是$\lambda -strongly\quad convex$。当 $\lambda=0$时，一般的凸函数总是满足上面的不等式。

Individual SGD Iterates的收敛性

理论1：
假定函数$F$是$\lambda -strongly\quad convex$，并且对于所有的$t$,满足$E[||\hat{g}_t||^2]\leq G^2$。考虑步长为$\eta_t=1/{\lambda t}$的SGD。那么对于任何$T>1$，满足下面的不等式：

$$E[F(w_T)-F(w^*)]\leq \frac{17G^2(1+log(T)}{\lambda T}$$
理论2：
假定函数 $F$是凸函数，并且对于某些常数:$D,G$,满足：
$$E[||\hat{g}_t||^2]\leq G^2 \quad for all t$$
$$\sup_{{w,w'} \in W}||w=w'|| \leq D$$
考虑步长为 $\eta_t=c/{\sqrt t}$，其中 $c>0$是一个常数。那么对于任何的 $T>1$，总是满足下面的不等式：
$$E[F(w_T)-F(w^*)]\leq (\frac{D^2}{c}+cG^2)\frac{2+log(T)}{\sqrt{T}}$$

Averaging Schemes的收敛性

1、$\alpha -suffix\quad averaging$**
即定义为最后$\alpha T$次迭代的平均：

$$\overline{w}_w^\alpha =\frac {1}{\alpha T} \sum_{t=(1-\alpha)T+1}^T w_t$$
缺点不能on-the-fly，需要存储后 $\alpha T$次的 $w_t$
2、维持所有直到$t$次的平均：
$$\overline w_t=(1-\frac{1}{t})\overline w_{t-1} +\frac{1}{t} w_t$$
能够on-the-fly，仅获得次优的边界：$O(log(t)/t$.
3、$polynomial-decay averaing$-作者提出的。
它具有两个优点：1、可以on-the-fly的计算，即实时的计算。2、它给出了一个最优的收敛速度。对于任意的$t>1$，其迭代计算公式如下：
$$\overline w_t^\eta=(1-\frac{\eta+1}{t+\eta})\overline w_{t-1}^\eta +\frac{\eta+1}{t+\eta} w_t$$
其中$\overline w_1^\eta=w_1$，$\eta \geq0$，通常$\eta$取一个比较小的数，例如$\eta=3$.
当$\eta=0$时，其变成上述的2。
理论4：
假定$F$是一个$\lambda -strongly\quad convex$，并且$E[||\hat{g}_t||^2]\leq G^2$。考虑步长为$\eta_t=1/{\lambda t}$和初始值为$w_1$的SGD。同样的，我们令$\eta \geq 1$是一个整数。那么:
$$E[F(w_T^\eta)-F(w^*)\leq58(1+\frac{\eta}{T})(\eta(\eta+1)+\frac{(\eta+0.5)^3(1+log(T))}{T})\frac{G^2}{\lambda T}$$
即算法的更新策略为:

1. 计算次梯度$\hat{g}_t$
2. 权重$w$更新迭代公式：
   $$w_{t+1}=\Pi(w_t-\eta_t\hat{g}_t) \quad(1)$$

3. 平均权重$\overline w$更新迭代公式：
   

   $$\overline w_t^\eta=(1-\frac{\eta+1}{t+\eta})\overline w_{t-1}^\eta +\frac{\eta+1}{t+\eta} w_t$$
   为了统一，上面的公式变为：
   $$\overline w_{t+1}^\eta=(1-\frac{\eta+1}{t+\eta})\overline w_{t}^\eta +\frac{\eta+1}{t+\eta} w_{t+1}\quad (2)$$

4. 算法终止，返回$\overline w_t$，$t$表示算法终止时，当前的迭代次数。

   注意，公式（1）中的$\eta_t$和公式（2）中的$\eta$是完全不同的。