Online Convex Optimization

OCO

简单梳理，很粗糙，详细看书！

First-Order Methods for OCO

该类算法的目标是最小化遗憾界，遗憾定义如下:
$${\mathrm{Regret}}_T=\sum _{t=1}^T{f}_t({\mathbf{x}}_t)-\underset{\mathbf{x}\in \mathcal{K}}{\min }\sum _{t=1}^T{f}_t(\mathbf{x}).\text{\hspace{1em}(1)}$$

Online Gradient Descent(OGD)

OGD算法是GD算法的在线版本，第一次引入是通过 Zinkevich¹

OGD算法的更新规则如下:
$$\begin{gathered} {\mathbf{y}}_{t+1}={\mathbf{x}}_t-{\eta }_t\nabla f_t({\mathbf{x}}_t) \\ {\mathbf{x}}_{t+1}={\Pi }_{\mathcal{K}}({\mathbf{y}}_{t+1})\text{\hspace{1em}(2)} \end{gathered}$$

通过设置步长序列 { η t = D G t , t ∈ [ T ] } \{ \eta_t = \frac{D}{G \sqrt{t}}, t \in [T] \} {ηt​=Gt ​D​,t∈[T]}，我们有
$$Regre{t}_T=\sum _{t=1}^T{f}_t({\mathbf{x}}_t)-\underset{{\mathbf{x}}^{\ast }\in \mathcal{K}}{\min }\sum _{t=1}^T{f}_t({\mathbf{x}}^{\ast })\le \frac{3}{2}GD\sqrt{T}\text{\hspace{1em}(3)}$$

简略证明. 让$x^{\ast }\in \arg {\min }_{x\in \mathcal{K}}{\sum }_{t=1}^T{f}_t(\mathbf{x})$，定义${\nabla }_t\triangleq \nabla f_t({\mathbf{x}}_t)$，通过凸函数的凸性（凸函数的一阶判定条件）：
$$f_t({\mathbf{x}}_t)-f_t({\mathbf{x}}^{\ast })\le {\nabla }_t^{\top }({\mathbf{x}}_t-{\mathbf{x}}^{\ast })\text{\hspace{1em}(4)}$$
和算法的更新规则：
$$\begin{gathered} {\Vert {\mathbf{x}}_{t+1}-{\mathbf{x}}^{\star }\Vert }^2={\Vert {\Pi }_{\mathcal{K}}\left({\mathbf{x}}_t-{\eta }_t{\nabla }_{\iota }\right)-{\mathbf{x}}^{\star }\Vert }^2\le {\Vert {\mathbf{x}}_t-{\eta }_t{\nabla }_{\iota }-{\mathbf{x}}^{\star }\Vert }^2 \\ \downarrow \\ 2{\nabla }_t^{\top }\left({\mathrm{x}}_t-{\mathrm{x}}^{\star }\right)\le \frac{{\Vert {\mathbf{x}}_t-{\mathbf{x}}^{\star }\Vert }^2-{\Vert {\mathbf{x}}_{t+1}-{\mathbf{x}}^{\star }\Vert }^2}{{\eta }_t}+{\eta }_t{G}^2\text{\hspace{1em}(5)} \end{gathered}$$
然后联合公式4和5，取$1,\dots ,T$的和，证明完毕。

$o(DG\sqrt{T})$ 是OGD最好的遗憾界，相关证明可以参考²中3.2节

Online gradient descent for strongly convex functions

对于强凸损失函数，通过设置步长序列${\eta }_t=\frac{1}{\alpha t}$，其中$\alpha$是强凸因子，OGD算法有：
$$Regre{t}_T\le \frac{G^2}{2\alpha }(1+\log T)\text{\hspace{1em}(6)}$$

简略证明： 类似一般情况下OGD的证明，区别是步长的设置和利用强凸函数的强凸性（强凸函数的一阶判定条件）：
$$2\left(f_t\left({\mathbf{x}}_t\right)-f_t\left({\mathbf{x}}^{\star }\right)\right)\le 2{\nabla }_t^{\top }\left({\mathbf{x}}_t-{\mathbf{x}}^{\star }\right)-\alpha {\Vert {\mathbf{x}}^{\star }-{\mathbf{x}}_t\Vert }^2\text{\hspace{1em}(7)}$$

Stochastic Gradient Descent^{3 4}

随即优化是在线凸优化中一个特殊的场景，其目标是最小化凸域上的凸函数，具体定义如下：
$$\underset{x\in \mathcal{K}}{\min }f(x).\text{\hspace{1em}(8)}$$
同时，与离线场景下不同，该场景下优化器无法获得准确的梯度信息，而是带噪声的梯度，即：
$$\mathcal{O}(\mathbf{x})\triangleq {\tilde{\nabla }}_{\mathbf{x}}s.t.\mathbb{E}[{\tilde{\nabla }}_{\mathbf{x}}]=\nabla f(\mathbf{x}),\mathbb{E}[\Vert {\tilde{\nabla }}_{\mathbf{x}}\Vert ]\le G^2\text{\hspace{1em}(9)}$$
也就是说，每次从决策集取一个点$x$，然后获得该点带噪声的梯度，带噪声的梯度的期望是函数$f$在该点的梯度，并且期望的方差是$G^2$。与OGD类似，区别即获得的梯度是带噪声的。该处证明SGD方法的convergence rate，上边是regre bound。

通过设置步长序列${\eta }_t=\frac{D}{G\sqrt{T}}$，有：
$$\mathbf{E}[f({\bar{\mathbf{x}}}_T)]\le \underset{{\mathbf{x}}^{\star }\in \mathcal{K}}{\min }f({\mathbf{x}}^{\star })+\frac{3GD}{2\sqrt{T}}.\text{\hspace{1em}(10)}$$
可以发现，将$\underset{{\mathbf{x}}^{\star }\in \mathcal{K}}{\min }f({\mathbf{x}}^{\star })$移到左边，然后取$T$轮累积和，即可得到regre bound = $O(DG\sqrt{T})$

简略证明： 首先定义线性函数$f_t(x)\triangleq {\tilde{\nabla }}_t^{\top }\mathbf{x}$，然后有
$$\begin{array}{rlr}& \mathbf{E}[f({\bar{\mathbf{x}}}_T)]-f({\mathbf{x}}^{\ast })& \\ & \le \mathbf{E}[\frac{1}{T}\sum _{t}f({\mathbf{x}}_t)]-f({\mathbf{x}}^{\star })& \text{convexity of}f\text{(Jensen’s inequality)}\\ & \le \frac{1}{T}E[\sum _t\nabla f({\mathbf{x}}_t{)}^{\mathsf{T}}({\mathbf{x}}_t-{\mathbf{x}}^{\star })]& \text{convexity again(for last step}f(x^{\ast })do\frac{1}{T}\cdot T\cdot f(x^{\ast })\text{)}\\ & =\frac{1}{T}\mathbf{E}[\sum _t{\tilde{\nabla }}_t^{\top }({\mathbf{x}}_t-{\mathbf{x}}^{\star })]& \text{noisy gradient estimator}\\ & =\frac{1}{T}\mathbf{E}[\sum _t{f}_t({\mathbf{x}}_t)-f_t({\mathbf{x}}^{\star })]& f_t(\mathbf{x})\text{ definition}\\ & \le \frac{{\mathrm{Regret}}_T}{T}& \text{Regret definition}\\ & \le \frac{3GD}{2\sqrt{T}}& \text{OGD conclusion}\end{array}\text{\hspace{1em}(11)}$$
Jensen’s inequality⁵

假设凸函数$f$，可行域内的一系列点集 { x 1 , … , x n } \{x_1, \dots, x_n\} {x1​,…,xn​}，若${\lambda }_i\ge 0,and{\sum }_i{\lambda }_i=1$，则$f(x)$满足：
$$f(\sum _{i=1}^M{\lambda }_i{x}_i)\le \sum _{i=1}^M{\lambda }_{i}f(x_i)\text{\hspace{1em}(12)}$$

---

1. Online Convex Programming and Generalized Infinitesimal Gradient Ascent ↩︎

2. Introduction to Online Convex Optimization ↩︎

3. Convex Optimization: Algorithms and Complexity ↩︎

4. An Optimal Method for Stochastic Composite Optimization ↩︎

5. Jensen’s inequality wiki ↩︎