凸优化简介24

样本平均近似(Sample Average Approximation)与随机梯度下降(Stochastic Gradient Descent)

1. 随机优化的基本形式

随机优化问题通常为如下形式：
$$\underset{x\in X}{\min }\left\{f(x)\triangleq E_{\xi }[F(x,\xi )]\right\}$$
其中，函数 $F(x,\xi )$包含了决策变量或者向量$x$，以及一个随机的变量或向量$\xi$。随机变量$\xi$是在 $\Omega \subseteq {\mathbb{R}}^d$上服从某个分布 $P$的。期望的值为 ${\mathbb{E}}_{\xi }[F(x,\xi )]={\int }_{\xi \in \Omega }F(x,\xi )dP(\xi )$。
例子：报纸供应商需要决定每天的库存，满足需求的同时最大化利润。假设库存的报纸的数量 $q$是决策变量，每份报纸的购进价格为 $c$，每份售出报纸价格为 $p$，用 $D$表示顾客购买的报纸的数量。则模型为：
$$\underset{q}{\max }{\mathbb{E}}_D[p\times min(q,D)-c\times q]$$
考虑$c$是某个常量，该模型中的 $D$对应$\xi$，为某个随机变量，$q$是决策变量对应标准模型中的 $x$。
经验风险最小化
在机器学习算法中，损失函数定义为$l(f(x),y)$，根据随机优化问题的形式定义为：
$$\underset{f\in \mathcal{F}}{\min }{E}_{x,y}[l(f(x),y)]$$

2. 样本平均近似(Sample Average Approximation)

解决随机优化的一种方法是使用蒙特卡洛采样。设 ${\xi }_1,\dots ,{\xi }_N$是独立同分布的，随机采样的变量。考虑如下的对原问题的估计：
$$\underset{x\in X}{\min }{f}^N(x)=\frac{1}{N}\sum _{i=1}^{N}F(x,{\xi }^i)$$
其中$X$实在${\mathbb{R}}^n$上非空的闭集，$\xi$是随机变量，服从分布 $P$，在${\mathbb{R}}^d$上的子集$\Xi \subset {\mathbb{R}}^d$。函数 $F:X\times \Xi \to \mathbb{R}$。
根据该函数的形式，可以转换为期望的形式：
$$f^N(x)={\mathbb{E}}_{p_N}[F(x,\xi )]$$
根据大数定理，$f^N(x)$以1的概率收敛到$f(x)$当$N\to \infty$。因为 $\mathbb{E}[f^N(x)]=f(x)$，$f^N(x)$是$f(x)$的无偏估计。
因此，可以认为当$N\to \infty$的时候，使用样本平均估计得到的最优值收敛到对应的原始问题的最优值。

定理：假设有一个紧凑(compact)的集合 $C\subset {\mathbb{R}}^n$，并且：

1. 原始问题的最优解的集合 $X_{\ast }$是非空的，并且包含在 $C$内；
2. 函数 $f(x)$是有限的，并且在$C$内是连续的；
3. 当 $N\to \infty$的时候，$f^N(x)$以1的概率收敛到$f(x)$，对于$x\in C$；
4. 当 $N$足够大的时候，集合 $X_{\ast }^n$是非空的概率为1，$X_{\ast }^n\subset C$
   那么当 $N\to \infty$的时候，$f_{\ast }^N\to f_{\ast }$以及 $\mathbb{D}(X_{\ast }^N-X_{\ast })\to 0$的概率为1。

样本平均近似方法的最优值的渐进性(Asymptotics)为：

1. 对于$\tilde{x}\in X$，期望值 $\mathbb{E}[F(\tilde{x},{\xi }^2)]$是有限的；
2. 存在一个可衡量的函数 $C:\Xi \to {\mathbb{R}}_{+}$，$\mathbb{E}[C({\xi }^2)]$是有限的，并且 $|F(x,\xi )-F(x^{\prime },\xi )|\le C(\xi )\Vert x-x^{\prime }\Vert$对于所有的 $x,x^{\prime }\in X,\xi \in \Xi$成立。

定理：设 $f_{\ast }^N$是样本平均近似的最优值。假设采样的样本是独立同分布的，集合 $X$是紧凑(compact)的，并且前面的渐进性的两个假设满足，则下面的等式成立：
f ∗ N = inf ⁡ x ∈ X ∗ f N ( x ) + o p ( N − 1 / 2 ) f_*^N=\inf\limits_{x\in X_*}f^N(x)+o_p(N^{-1/2})