统计学习理论的本质 笔记 2 学习过程的一致性

2 学习过程的一致性

2.1 传统一致性定义和非平凡一致性概念

定义 对于风险泛函 $R(\alpha )$ 和 经验风险 $R_{emp}(\alpha )$ 若
$$R({\alpha }_l)\underset{l\to \infty }{\overset{p}{\to }}\underset{\alpha \in \Lambda }{\inf }R(\alpha )and{R}_{emp}({\alpha }_l)\underset{l\to \infty }{\overset{p}{\to }}\underset{\alpha \in \Lambda }{\inf }R(\alpha )$$
则称ERM原则对 $Q(z,\alpha ),\alpha \in \Lambda ,F(z)$ 是一致的。

定义 定义
Λ ( c ) = { α : ∫ Q ( z , α ) d F ( z ) > c , α ∈ Λ } \Lambda (c) = \{\alpha: \int Q(z, \alpha)dF(z) > c, \alpha \in \Lambda \} Λ(c)={ α:∫Q(z,α)dF(z)>c,α∈Λ}
若
$$\underset{\alpha \in \Lambda (c)}{\inf }{R}_{emp}(\alpha )\underset{l\to \infty }{\overset{P}{\to }}\underset{\alpha \in \Lambda (c)}{\inf }R(\alpha ),\forall \Lambda (c)\ne \varnothing$$
称ERM原则对 $Q(z,\alpha ),\alpha \in \Lambda ,F(z)$ 是非平凡一致的。这是为了排除函数集 $Q(z,\alpha )$ 中包含一个对任意 $z$ 均为最小的函数从而平凡地满足原定义的情况。

2.2 学习理论的关键定理

定理 2.1 (1989, Vapnik and Chervonenkis) 设函数集 $Q(z,\alpha )$ 满足条件 $A\le R(\alpha )\le B$ 那么 ERM原则一致性的充要条件为：
lim ⁡ l → ∞ P { sup ⁡ α ∈ Λ ( R ( α ) − R e m p ( α ) ) > ϵ } = 0 , ∀ ϵ > 0 \lim\limits_{l \rightarrow \infty} P\{ \sup\limits_{\alpha \in \Lambda} (R(\alpha) - R_{emp}(\alpha)) > \epsilon \} = 0, \forall \epsilon > 0 l→∞lim​P{ α∈Λsup​(R(α)−Remp​(α))>ϵ}=0,∀ϵ>0
称这种一致收敛为一致单边收敛。

2.3 一致双边收敛的充要条件

显然在定理2.1条件下有一致双边收敛充要条件:
lim ⁡ l → ∞ P { sup ⁡ α ∈ Λ ∣ R ( α ) − R e m p ( α ) ∣ > ϵ } = 0 , ∀ ϵ > 0 \lim\limits_{l \rightarrow \infty} P\{ \sup\limits_{\alpha \in \Lambda} |R(\alpha) - R_{emp}(\alpha)| > \epsilon \} = 0, \forall \epsilon > 0 l→∞lim​P{ α∈Λsup​∣R(α)−Remp​(α)∣>ϵ}=0,∀ϵ>0
我们希望找到上式的等价条件。

2.3.1 关于大数定理及其推广

2.3.2 指示函数集的熵

考虑模式识别问题，设 $Q(z,\alpha ),\alpha \in \Lambda$ 为一个指示函数集，考虑样本 $(z_i)$， 定义 $N^{\Lambda }(z_1,...,z_l)$ 代表指示函数集中的函数能将给定样本二分类的种数。或者假设
$$q(\alpha )=(Q(z_1,\alpha ),...,Q(z_l,\alpha )),\alpha \in \Lambda$$
那么在模式识别问题中，$q(\alpha )$ 即为 $l$