统计学习理论的本质 笔记 4 控制学习过程的推广能力

4 控制学习过程的推广能力

一般认为一个数据集为小样本，当训练数与VC维的比值较小如 $1<l/h<20$ 时。$l>h$ 的原因见3.7节。

4.1 结构风险最小化归纳原则

3.4节（或3.7节）中的情况一般可以归纳为
$$R(\alpha )\le f(R_{emp}(\alpha ),\Phi (h))$$
$R_{emp}(\alpha )$ 被称为经验风险，$\Phi (h)$被称为置信范围。

设函数$Q(z,\alpha ),\alpha \in \Lambda$ 的集合 $S$ 具有一定的结构
S 1 ⊂ S 2 ⊂ . . . ⊂ S n . . . ,    S k = { Q ( z , α ) , α ∈ Λ k ⊂ Λ } S_1 \subset S_2 \subset ... \subset S_n ..., \ \ S_k=\{Q(z, \alpha), \alpha \in \Lambda_k \subset \Lambda\} S1​⊂S2​⊂...⊂Sn​...,  Sk​={Q(z,α),α∈Λk​⊂Λ}
结构中的元素满足性质

1. $S_k$ 的VC维 $h_k<\infty$ 满足 $h_1\le h_2\le ...\le h_n$, 然而 $S$ 的VC维可以无限。

2. 结构为一种容许结构，即对于任何元素 $S_k$, 或者包含一个完全有界的函数集合
   $$0\le Q(z,\alpha )\le B_k,\alpha \in {\Lambda }_k$$
   或者包含对某对 $(p,\tau )$ 满足
   $$\underset{\alpha \in \Lambda }{\sup }\frac{(\int Q^p(z,\alpha )dF(z){)}^{1/p}}{\int Q(z,\alpha )dF(z)}\le \tau <\infty ,p>2$$

   # 这里感觉熵应该和3.4节情况2和情况3相对应，那么后一种容许结构可能缺少条件 $0\le Q(z,\alpha ),\alpha \in {\Lambda }_k$, 同时，为与情况2，3相对应，应当使容许结构要么为情况2要么为情况3才是，而不是“包含”。

对于一个给定观测集 $z_1,...,z_l$, 结构风险最小化（SRM）归纳原则希望能在VC维较小（置信范围较小）的 $S_k$ 中找到经验风险较小的函数 $Q(z,{\alpha }_0^k)$, 这样对于3.4节中的各情况都能保证找到尽量小的 $R(\alpha )$。

4.2 收敛速度的渐进分析

4.3 学习理论中的函数逼近问题

4.4 神经网络的子集结构举例

由神经网络构造所形成的结构
随着二层神经网络隐藏层的节点数目增加，VC维不断增加，形成一种结构。

由学习过程给出的结构
设固定构造的神经网络函数集合 S = { f ( x , ω ) , ω ∈ W } S=\{f(x,\omega), \omega \in W\} S={f(x,ω),ω∈W}, 定义结构
S k = { f ( x , ω ) , ∣ ∣ ω ∣ ∣ ≤ C p } , C 1 ≤ C 2 ≤ . . . ≤ C n S_k=\{f(x, \omega), ||\omega|| \le C_p\}, C_1 \le C_2 \le...\le C_n Sk​={f(x,ω),∣∣ω∣∣≤Cp​},C1​≤C2​≤...≤Cn​
经验风险最小化可以最小化泛函
$$E(\omega ,{\gamma }_p)=\frac{1}{l}\sum _{i=1}^{l}L(y_i,f(x_i,\omega ))+{\gamma }_p||\omega |{|}^2$$

由预处理给出的一种结构
假设数据经过一个变换 $z=K(x,\beta )$, 那么 $\beta$ 的不同取值可以定义 S = { f ( z , ω ) , ω ∈ W } S=\{f(z,\omega), \omega \in W\} S={f(z,ω),ω∈W} 的一个结构。

4.5 局部函数估计的问题

考虑基于经验数据在某一定点$x_0$的领域内的最小化局部风险的模型，加入局部性参数
$$0\le K(x,x_0;\beta )\le 1,K(x_0,x_0,\beta )=1$$
$\beta$ 用于控制领域范围，例如
K ( x , x 0 ; β ) = exp ⁡ { − β − 2 ( x − x 0 ) 2 } K(x,x_0;\beta) = \exp\{ - \beta^{-2}(x-x_0)^2\} K(x,x0​;β)=exp{−β−2(x−x0​)2}
定义归一化的局部参数
$$\varkappa (x,x_0,\beta )=\frac{K(x,x_0;\beta )}{\int K(x,x_0;\beta )dF(x)}$$
目标转换为最小化局部风险泛函（领域加权的）
$$R(\alpha ,\beta ,;x_0)=\int L(y,f(x,\alpha ))\varkappa (x,x_0,\beta )dF(x,y)$$
可以得到如下定理（Vapnik and Bottou 1993）
对于所有
$$\begin{gathered} A\le L(y,f(x,\alpha ))\le B,\alpha \in \Lambda ,A,B\in \mathbb{R} \\ 0\le K(x,x_0;\beta )\le 1,\beta \in (0,\infty ) \end{gathered}$$
以下不等式以概率 $1-\eta$ 成立
$$\begin{gathered} R(\alpha ,\beta ;x_0)\le \frac{\frac{1}{l}\sum _{i=1}^{l}L(y_i,f(x_i,\alpha ))K(x,x_0;\beta )+(B-A)\zeta (l,h_{\Sigma })}{(\frac{1}{l}\sum _{i=1}^{l}K(x,x_0;\beta )-\zeta (l,h_{\beta }){)}_{+}} \\ \zeta (l,h)=\sqrt{\frac{h(\ln \frac{2l}{h}+1)-ln\frac{\eta }{2}}{l}} \end{gathered}$$
其中 $h_{\beta }$ 为函数集
$$K(x,x_0,\beta )，\beta \in (0,\infty )$$
的VC维， $h_{\Sigma }$ 为函数集
$$L(y,f(x,\alpha ))K(x,x_0,\beta ),\alpha \in \Lambda ,\beta \in (0,\infty )$$
的VC维。

4.6 最小描述长度原则(MDL原则)与SRM原则

4.7 解决不适定问题的方法

在计算数学和统计学的各领域中，改进方法性能的很多努力都基本上引向了同一个思想：结构风险最小化归纳原则(SRM原则)

如解决不适定问题的方法：

1. 拟解（近似解）的方法 (Ivanov, 1962)
2. 正则化方法（Tichonov, 1963）

非参数密度估计方法：

1. Parzen窗(Parzen, 1962)
2. 投影方法(CHentsov, 1963)
3. 条件最大似然方法(Grenander, 1981)
4. 最大惩罚似然方法(Tapia and Thompson, 1978)

回归估计方法：

1. 岭回归(Hoerl and Kennard, 1970)
2. 模型选择(Miller, 1990)

4.8 随机不适定问题和密度估计问题

4.9 回归的多项式逼近问题

4.10 容量控制的问题

4.11 容量控制的问题和贝叶斯推理