五、 统计学习理论：无界实损失函数上的大数定理

前一篇文章，介绍了有界实损失函数下的机器学习ERP原则一致性的充分条件，从无限指示损失函数集推广到了有界实损失函数集。
本文将介绍实无界损失函数集上的一致收敛的条件；同前文,无界实损失函数集记为:$\{Q(x;\theta)|\theta \in \Lambda\}$。
记：
$R(\theta)=\int_{R^m}Q(x,\theta)dF(x)$

$R_{exp}(X,\theta)=\frac{1}{n}\sum_{i=1}^nQ(x_i,\theta)$$X$代表任意一个样本集，有$n$个样本。

目标是分析：

$$P\big(\underset{\theta \in \Lambda}{sup}\mid R(\theta) -R_{exp}(X,\theta) \mid\ge \varepsilon\big) \overset{n\rightarrow \infty} \rightarrow 0 \qquad (1)$$ 成立的条件。

---

无界实损失函数上的大数定理

先讨论实损失函数$\int_{R^m} |Q(x,\theta)|dF(x)=B(\theta)\le B<\infty$是有界实函数,从Lebesgue积分角度来看$R(\theta)$。

重新表述一下$\int_{R^m} Q(x,\theta)dF(x)$:
$\int_{R^m} Q(x,\theta)dF(x)=\underset{l \rightarrow \infty}{lim}\frac{1}{l}\big(\sum_{i=1}^{\infty}P\{Q(x,\theta)>\frac{i}{l}\}+\sum_{i=-1}^{-\infty}P\{Q(x,\theta)<\frac{i}{l}\}\big)$
对于$R_{exp}(X,\theta)$，同样我们有：
$\frac{1}{n}\sum_{k=1}^nQ(x_k,\theta)=\underset{l \rightarrow \infty}{lim}\frac{1}{l}\big(\sum_{i=1}^{\infty}v\{x_k:Q(x_k,\theta)>\frac{i}{l}\}+\sum_{i=-1}^{-\infty}v\{x_k:Q(x_k,\theta)<\frac{i}{l}\}\big)$

定义表达式：

$$H(x,\theta,\beta)= \begin{cases} \frac{\bigg|P\{Q(x,\theta)>\beta\}-v\{x_k:Q(x_k,\theta)>\beta\}\bigg|}{P\{|Q(x,\theta)|>\beta\}}&;when &\forall \beta\gt0\\ &\\ \frac{\bigg|P\{Q(x,\theta)\lt\beta\}-v\{x_k:Q(x_k,\theta)\lt\beta\}\bigg|}{P\{|Q(x,\theta)|>-\beta\}}&; when & \forall \beta<0 \end{cases}$$
定义事件 $A_i:\{H(x,\theta,i/l)<\varepsilon\},\forall i \in N,l\in N^+$.

若对于任意的$\forall i \in N,\forall l\in N^+$都有$A_i$成立，即$\underset{\theta\in \Lambda,i\in N}{sup}H(x,\theta,i/l)<\varepsilon$则有：

$$\begin{array}{1} \bigg|\int_{R^m} Q(x,\theta)dF(x)-\frac{1}{n}\sum_{k=1}^nQ(x_k,\theta)\bigg|\\ \quad=\underset{l \rightarrow \infty}{lim}\frac{1}{l}\bigg|\sum_{i=1}^{\infty}\bigg(P\{Q(x,\theta)>\frac{i}{l}\}-v\{x_k:Q(x_k,\theta)>\frac{i}{l}\}\bigg)\\ \quad\quad +\sum_{i=-1}^{-\infty}\bigg(P\{Q(x,\theta)\lt\frac{i}{l}\}-v\{x_k:Q(x_k,\theta)\lt\frac{i}{l}\}\bigg)\bigg|\\ \quad\le\underset{l \rightarrow \infty}{lim}\frac{1}{l}\bigg(\sum_{i=1}^{\infty}\big(\bigg|P\{Q(x,\theta)>\frac{i}{l}\}-v\{x_k:Q(x_k,\theta)>\frac{i}{l}\}\big|\big)\\ \quad\quad+\sum_{i=-1}^{-\infty}\big(P\{Q(x,\theta)\lt\frac{i}{l}\}-v\{x_k:Q(x_k,\theta)\lt\frac{i}{l}\}\big)\bigg)\\ \quad\le 2\varepsilon\underset{l \rightarrow \infty}{lim}\frac{1}{l}\sum_{i=1}^{\infty} P\{|Q(x,\theta)|>\frac{i}{l}\}\bigg)\\ \quad =2\varepsilon\int_{R^m} |Q(x,\theta)|dF(x)\\ \quad\le 2\varepsilon B \end{array}$$

由上面的讨论可以得知：
事件$\{\underset{\theta\in \Lambda,\theta \in R}{sup}H(x,\theta,i/l)<\varepsilon\}$发生蕴含事件$\{\bigg|\int_{R^m} Q(x,\theta)dF(x)-\frac{1}{n}\sum_{k=1}^nQ(x_k,\theta)\bigg|<2\varepsilon B\}$必将发生。

不防假设当$\beta^*\gt0$时，下面的表达式$H(x,\theta,\beta^*)$取得上确界：

$$H(x,\theta,\beta^*)=\underset{\theta\in \Lambda,\beta\in R}{sup}\frac{\bigg|P\{Q(x,\theta)>\beta\}-v\{x_k:Q(x_k,\theta)>\beta\}\bigg|}{P\{|Q(x,\theta)|>\beta\}}$$
当然也可以取 $\beta\lt0$时， $H(x,\theta,\beta)$取得上确界，不影响后面的讨论。

根据互补事件概率计算，得到：

$$\begin{array}{1} P\{\underset{\theta\in \Lambda}{sup}\bigg|\int_{R^m} Q(x,\theta)dF(x)-\frac{1}{n}\sum_{k=1}^nQ(x_k,\theta)\bigg|>2\varepsilon B\}\\ \quad \le P\bigg\{ \underset{\theta\in \Lambda;\beta \in R}{sup}\frac{\bigg|P\{Q(x,\theta)>\beta\}-P\{x_k:Q(x_k,\theta)>\beta\}\bigg|}{P\{|Q(x,\theta)|>\beta\}}\gt\varepsilon\bigg\}\\ \quad \le P\bigg\{\underset{\theta\in \Lambda;\beta \in R}{sup}\bigg(\bigg|\int_{R^m} 1\{Q(x,\theta)-\beta\}dF(x)-\sum_{k=1}^{n}1\{Q(x_k,\theta)-\beta\}\bigg|\bigg)\gt \alpha\varepsilon\bigg\} \end{array}$$
其中 $0\lt \alpha=P\{|Q(x,\theta)|>\beta^*\}\le 1,\beta^* \in R$

这样，我们将有界实函数转化到指示损失函数$I(x,\theta,\beta)=1\{Q(x,\theta)-\beta\}$上,不过增加了一个参数$\beta$,根据指示损失函数上的结论，得到下面的不等式：

$$\begin{array}{1} P\big(\underset{\theta\in \Lambda}{sup}\bigg|\int_{R^m} Q(x,\theta)dF(x)-\frac{1}{n}\sum_{k=1}^nQ(x_k,\theta)\bigg|>\varepsilon\big)\\ \quad \le P\bigg(\underset{\theta\in \Lambda;\beta \in (a,b)}{sup}\bigg|\int_{R^m} 1\{Q(x,\theta)-\beta\}dF(x)-\sum_{k=1}^{n}1\{Q(x_k,\theta)-\beta\}\bigg|>\frac{\alpha\varepsilon}{2B}\bigg)\\ \quad = P\bigg(\underset{\theta\in \Lambda;\beta \in (a,b)}{sup}\bigg|\int_{R^m} I(x,\theta,\beta)dF(x)-\sum_{k=1}^{n} I(x_i,\theta,\beta)\bigg|>\frac{\alpha\varepsilon}{2B}\bigg)\\ \quad \le 2N^{\Lambda,\beta}(n)e^{-\frac{(\alpha\varepsilon)^2}{4B^2}n}\\ \quad =2exp\bigg(\big(\frac{H_{vc}^{\Lambda,\beta}(n)}{n}-\frac{(\alpha\varepsilon)^2}{4B^2}\big)n\bigg) \end{array}$$
于是有下面的定理：
定理4：在无界实损失函数集 $Q(x,\theta)$上，函数集满足 $\int_{R^m} |Q(x,\theta)|dF(x)=B(\theta)\le B<\infty$,存在 $0\lt \alpha\le1$， $\forall \varepsilon\gt0$,期望风险和经验风险满足如下不等式：
$$P\big(\underset{\theta\in \Lambda}{sup}\bigg|\int_{R^m} Q(x,\theta)dF(x)-\frac{1}{n}\sum_{k=1}^nQ(x_k,\theta)\bigg|>\varepsilon\big) \quad \le2exp\bigg(\big(\frac{H_{vc}^{\Lambda,\beta}(n)}{n}-\frac{(\alpha\varepsilon)^2}{4B^2}\big)n\bigg)$$
推论4：在实损失函数集 $|Q(x,\theta)|$上，统计学习机期望风险与经验风险一致双边收敛的充分条件是：
$$\underset{n \rightarrow \infty}{lim}\frac{H_{vc}^{\Lambda,\beta}(n)}{n}=0$$

经将界实损失函数转化到指示损失函数上的方法，找到了在实损失函数集期望风险和经验风险双边一致收敛的充分条件。