统计学习理论的本质 笔记 3 学习过程收敛速度的界

3 学习过程收敛速度的界

3.1 基本不等式

考虑模式识别问题，即 $Q(z,\alpha ),\alpha \in \Lambda$ 为指示函数集，设
$$R(\alpha )=\int Q(z,\alpha )dF(z)R_{emp}(\alpha )=\frac{1}{l}\sum _{i=1}^{l}Q(z,\alpha )$$

定理 3.1
P { sup ⁡ α ∈ Λ ∣ R ( α ) − R e m p ( α ) ∣ > ϵ } ≤ 4 exp ⁡ { H a n n Λ ( 2 l ) − ϵ 2 l } P\{ \sup\limits_{\alpha \in \Lambda} | R(\alpha) - R_{emp}(\alpha)| > \epsilon \} \le 4\exp\{H_{ann}^\Lambda(2l) - \epsilon^2l\} P{ α∈Λsup​∣R(α)−Remp​(α)∣>ϵ}≤4exp{ HannΛ​(2l)−ϵ2l}

定理 3.2
P { sup ⁡ α ∈ Λ R ( α ) − R e m p ( α ) R ( α ) > ϵ } ≤ 4 exp ⁡ { H a n n Λ ( 2 l ) − ϵ 2 l 4 } P\{ \sup\limits_{\alpha \in \Lambda} \dfrac{R(\alpha) - R_{emp}(\alpha)}{\sqrt{R(\alpha)}} > \epsilon \} \le 4\exp\{H_{ann}^\Lambda(2l) - \dfrac{\epsilon^2l}{4}\} P{ α∈Λsup​R(α) ​R(α)−Remp​(α)​>ϵ}≤4exp{ HannΛ​(2l)−4ϵ2l​}

由于 $H_{ann}^{\Lambda }(l)\le G^{\Lambda }(l)$, 显然有以下推论成立
P { sup ⁡ α ∈ Λ ∣ R ( α ) − R e m p ( α ) ∣ > ϵ } ≤ 4 exp ⁡ { G Λ ( 2 l ) − ϵ 2 l } P\{ \sup\limits_{\alpha \in \Lambda} | R(\alpha) - R_{emp}(\alpha)| > \epsilon \} \le 4\exp\{G^\Lambda(2l) - \epsilon^2l\} P{ α∈Λsup​∣R(α)−Remp​(α)∣>ϵ}≤4exp{ GΛ(2l)−ϵ2l}
P { sup ⁡ α ∈ Λ R ( α ) − R e m p ( α ) R ( α ) > ϵ } ≤ 4 exp ⁡ { G Λ ( 2 l ) − ϵ 2 l 4 } P\{ \sup\limits_{\alpha \in \Lambda} \dfrac{R(\alpha) - R_{emp}(\alpha)}{\sqrt{R(\alpha)}} > \epsilon \} \le 4\exp\{G^\Lambda(2l) - \dfrac{\epsilon^2l}{4}\} P{ α∈Λsup​R(α) ​R(α)−Remp​(α)​>ϵ}≤4exp{ GΛ(2l)−4ϵ2l​}

3.2 对实函数集的推广

设实函数集合
A = inf ⁡ α , z Q ( z , α ) ≤ Q ( z , α ) ≤ sup ⁡ α , z Q ( z , α ) = B ,     A , B ∈ R ∪ { − ∞ , + ∞ } A = \inf\limits_{\alpha, z} Q(z, \alpha) \le Q(z, \alpha) \le \sup\limits_{\alpha, z} Q(z, \alpha) = B,\ \ \ A,B \in \reals \cup \{-\infty, +\infty \} A=α,zinf​Q(z,α)≤Q(z,α)≤α,zsup​Q(z,α)=B,   A,B∈R∪{ −∞,+∞}
设有指示器集合($\theta$ 为阶跃函数)
$$I(z,\alpha ,\beta )=\theta (Q(z,\alpha )-\beta ),\alpha \in \Lambda ,\beta \in \Gamma =(A,B)$$
设指示器集合的VC熵，退火熵，生长函数为
H Λ , Γ ( l ) ,     H a n n Λ , Γ ( l ) ,     G Λ , Γ ( l ) H^{\Lambda, \Gamma}(l),\ \ \ H_{ann}^{\Lambda, \Gamma}(l),\ \ \ G^{\Lambda, \Gamma}(l)