支持向量机 基础 2 ERM原则

2 经验风险最小化（ERM）归纳原则

2.1 ERM 原则的一致性

经验风险(empirical risk)泛函：
$$R_{emp}(\alpha )=\frac{1}{l}\sum _{i=1}^{l}Q(z_i,\alpha )$$
经验风险最小化( Empirical Risk Minimization, ERM )原则即认为使经验风险泛函 $R_{emp}(\alpha )$ 最小的损失函数 $Q$ 也可以使风险泛函 $R(\alpha )$ 达到最小。若将 $Q$ 代入回归模型损失函数，ERM 原则变为最小二乘法，若代入概率密度估计损失函数，ERM 原则则变为最大似然方法。

为确认 ERM 原则的可靠性，我们首先需要对其一致性进行分析。ERM原则一致性和非平凡一致性的定义如下

定义 2.1

对于风险泛函 $R(\alpha )$ 和 经验风险 $R_{emp}(\alpha )$ 若
$$R({\alpha }_l)\underset{l\to \infty }{\overset{p}{\to }}\underset{\alpha \in \Lambda }{\inf }R(\alpha )and{R}_{emp}({\alpha }_l)\underset{l\to \infty }{\overset{p}{\to }}\underset{\alpha \in \Lambda }{\inf }R(\alpha )$$
则称ERM原则对 $Q(z,\alpha ),\alpha \in \Lambda ,F(z)$ 是一致的。

定义 2.2

设
Λ ( c ) = { α : ∫ Q ( z , α ) d F ( z ) > c , α ∈ Λ } \Lambda (c) = \{\alpha: \int Q(z, \alpha)dF(z) > c, \alpha \in \Lambda \} Λ(c)={ α:∫Q(z,α)dF(z)>c,α∈Λ}
若
$$\underset{\alpha \in \Lambda (c)}{\inf }{R}_{emp}(\alpha )\underset{l\to \infty }{\overset{P}{\to }}\underset{\alpha \in \Lambda (c)}{\inf }R(\alpha ),\forall \Lambda (c)\ne \varnothing$$
称 ERM 原则对 $Q(z,\alpha ),\alpha \in \Lambda ,F(z)$ 是非平凡一致的。这是为了排除函数集 $Q(z,\alpha )$ 中包含一个对任意 $z$ 均为最小的函数从而平凡地满足原定义的情况。

ERM 一致单边收敛的条件如下定理所述。

定理 2.1

(1989, Vapnik and Chervonenkis) 设函数集 $Q(z,\alpha )$ 满足条件 $A\le R(\alpha )\le B$ 那么 ERM 原则一致性的充要条件为：
lim ⁡ l → ∞ P { sup ⁡ α ∈ Λ ( R ( α ) − R e m p ( α ) ) > ϵ } = 0 , ∀ ϵ > 0 \lim\limits_{l \rightarrow \infty} P\{ \sup\limits_{\alpha \in \Lambda} (R(\alpha) - R_{emp}(\alpha)) > \epsilon \} = 0, \forall \epsilon > 0 l→∞lim​P{ α∈Λsup​(R(α)−Remp​(α))>ϵ}=0,∀ϵ>0
称这种一致收敛为一致单边收敛。

显然在定理2.1条件下有一致双边收敛充要条件:
lim ⁡ l → ∞ P { sup ⁡ α ∈ Λ ∣ R ( α ) − R e m p ( α ) ∣ > ϵ } = 0 , ∀ ϵ > 0 \lim\limits_{l \rightarrow \infty} P\{ \sup\limits_{\alpha \in \Lambda} |R(\alpha) - R_{emp}(\alpha)| > \epsilon \} = 0, \forall \epsilon > 0 l→∞lim​P{ α∈Λsup​∣R(α)−Remp​(α)∣>ϵ}=0,∀ϵ>0
我们希望找到上式（类似于大数定理）的等价条件。在此之前，我们先引入 随机熵、熵、随机 VC 熵、VC 熵 的概念。

考虑模式识别问题，设 $Q(z,\alpha ),\alpha \in \Lambda$ 为一个指示函数集，考虑样本 $(z_i)$， 定义 $N^{\Lambda }(z$