Foundations of Machine Learning 2nd——第二章 PAC学习框架

前言

这篇博客是“Fundations of Machine Learning 2nd”这本书的系列笔记第二篇~
第一篇链接
有不对的地方欢迎指正=v=

下面是正文：
PAC：Probably Approximately Correct
当设计和分析算法时会遇到以下几个问题：
最本质的难点在哪儿？想要成功训练一个模型需要多少样本？对于当前问题是否有一个通用的模型能够被学习到？
为了解决这些问题，本章介绍PAC这一学习框架，它能够帮助确定算法的样本复杂度（需要多少样本才能训练出当前问题的性能很好的近似解）、以及这个某个问题是否是可学习的。

定义介绍

$X$:所有可获得的样本的集合。有时也表示输入空间
$Y$:所有可获得的标签或目标值。后面的例子一般都是$Y$只有两个值, Y = { 0 , 1 } Y=\{0,1\} Y={0,1}，这种问题称为二分类。
A $concept$（一个concept，这个concept不好翻译，直接用英文）c:$X\to Y$,也就是说，一个$concept$ $c$用来表示从输入到输出的一个映射。因为 Y = { 0 , 1 } Y=\{0,1\} Y={0,1}，我们也可以用$c$来表示$X$值为1的子集。所以，在后文中我们会用一个$concept$表示$X$到 { 0 , 1 } \{0,1\} {0,1}的映射，也会用他表示$X$的一个子集。一个$concept$系列，也就是一个我们想要学习到的$concepts$的集合，用$C$表示。
$hypothesis$：直译是假设， 我认为他既有假设也有映射的意思。映射是指他的本质，就是从输入样本到输出标签的一个映射（函数），假设的意思是，他是由算法训练返回的，也就是拟合到的，（通常情况下与样本到标签的真实映射有一定的差距）。后问我会用"映射"来表示。

对于样本的假设是独立同分布（i.i.d.）于一个位置的分布$D$。

大体学习框架如下：
模型会考虑一个固定的可学习的$concepts$集合$H$,即映射集合，$H$并不一定要和$C$完全一致。模型收到一个样本集$S=(x_1,x_2,..,x_m)$ i.i.d. $D$,以及样本对应的标签$(c(x_1),c(x_2),..,c(x_m))$，这个标签是基于一个特定的$c\in C$（这里$c$表示一个最优映射）来学习到的。
任务就是使用有标签的样本集$S$来选择一个映射$h_s\in H$，这个$h$相对于$concept$ $c$来说具有最小的generalization error。

Generalization error

给定一个映射$h\in H$,一个目标映射$c\in C$,一个样本服从的分布$D$,$h$的generalization error或者说risk（风险）,定义如下（用$R(h)$表示）：
$$\begin{gathered} R(h)=\underset{x\sim D}{P}[h(x)\ne c(x)]=\underset{x\sim D}{E}[1_{h(x)\ne c(x)}] \\ {1}_w=1,w=true;1_w=0,w=false \end{gathered}$$
然而generalization error不能直接获得，因为$D$和$concept$ $c$都是未知的。不过我们可以学习一个映射在有标签样本$S$上的empirical error，来近似generalization error。

Empirical error

给定一个映射$h\in H$,一个目标映射$c\in C$,一个样本服从的分布$D$,$h$的empirical error或者说empirical risk,定义如下（用${\hat{R}}_S(h)$表示）：
$${\hat{R}}_S(h)=\frac{1}{m}\sum _{i=1}^m{1}_{h(x_i)\ne c(x_i)}$$

明显的区别就是empirical error是对已知的样本集$S$计算平均损失，而generalization error比较理想主义，想计算服从$D$分布的整体的损失。
可以说明的是：对于一个给定的$h\in H$，empirical error在i.i.d.样本集$S$上的的期望等价于generalization error：
$$\underset{S\sim D^m}{E}[{\hat{R}}_S(h)]=R(h)$$
推导如下：
由于$S$中的样本独立同分布，
$$\underset{S\sim D^m}{E}[\widehat{R_S}(h)]=\underset{S\sim D^m}{E}[\frac{1}{m}\sum _{i=1}^m{1}_{h(x_i)\ne c(x_i)}]=\frac{1}{m}\sum _{i=1}^{m}E[1_{h(x_i)\ne c(x_i)}]=\underset{S\sim D^m}{E}[1_{h(x)\ne c(x)}]$$

$$\underset{S\sim D^m}{E}[\widehat{R_S}(h)]=\underset{S\sim D^m}{E}[1_{h(x)\ne c(x)}]=\underset{x\sim D}{E}[1_{h(x)\ne c(x)}]=R(h)$$

$n$ 指：表示一个元素$x\in X$所用的计算开销，至多是O(n)
$size(c)指：$表示$c\in C$所用的最大计算开销。
$h_s$: 算法$A$接受了有标签样本集$S$后返回的映射。

了解了基本定义后，下文开始正式介绍PAC 学习框架~

定理1 PAC-learning

一个$C$可以称作PAC-learning的条件是：如果存在一个算法$A$和一个多项式函数$poly(\cdot ,\cdot ,\cdot ,\cdot )$，使得对于任意的$ϵ>0$ and $\delta >0$,对于所有$X$服从的分布$D$以及所有的目标映射$c\in C$,对于任何样本数量$m\ge poly(1/ϵ,1/\delta ,n,size(c))$的样本集都满足下式：
$$\underset{S\sim D^m}{P}[R(h_S)\le ϵ]\ge 1-\delta$$

通俗化解释：
例如$\delta =0.01,ϵ=0.1$，xxx

如果算法$A$可以在$poly(1/ϵ,1/\delta ,n,size(c))$的时间内运行的话，就称$C$是可以高效的PAC可学习的(efficiently PAC-learnable)。

PAC-learnable保证了在理论上可以在有限且足够大的数据集上学习到性能很好的近似解$h_S$, efficiently PAC-learnable 保证了在实际运行中能够计算到这个结果，如果时间复杂度太大的话即便理论可行，实际也无法得到结果。

$\delta >0$用来使得$1-\delta$表示可信度，$ϵ>0$使得$1-ϵ$表示准确度。

一些关于PAC定义比较重要的key point:

1. PAC框架的分布不受限制，也就是说对于样本的分布$D$，不需要做特殊的假设。
2. 用来计算error的训练集和样本集要从同一分布里采样。才能保证我们计算到的error近似等价generalization error。不过如果考虑域迁移的问题时，这个限制可以放宽。
3. PAC框架处理的是一类$concepts$ $C$是否可学习，而不是某一个特定的$concept$。注意，在算法中$C$是已知的，但是目标映射$c$是未知的。

后面根据几个具体的实例进一步说明

Example 1

设在二维平面坐标系中有一些点，同时有一个和坐标轴平行的矩形R，在R内的点赋值为1，否则赋值为0，任务是根据已有标签的样本集来找到这个矩形分界线。由此可得：
$X=R^2$, $concept$ class 是所有在$R^2$上的和坐标轴平行的矩形。
下面证明这个任务是PAC-learnable

算法$A$接受一个有标签的样本集$S$，返回一个平行坐标轴的矩阵$R^{\prime }=R_S$。这个$R^{\prime }$是包含所有正样本的面积最小的矩阵（tightest rectangle）。由于$R^{\prime }$不会把产生假正样本，因此出错的点肯定是在$R$内。

已知$R\in C$是目标$concept$，设$ϵ>0$。$P(R)$成为R的概率量，表示随机从分布$D$中采样的点会落在$R$内的概率。根据前面对于算法返回的$R^{\prime }$的设定，该映射只会对落在R内而落在$R^{\prime }$外的点判断出错，我们可以假设$P(R)>ϵ$，$P(R^{\prime })$对于未曾见过的点，出错的概率小于或者等于$ϵ$。
同时沿着R的四个边定义四个矩形区域$r_1,r_2,r_3,r_4$，每一个的区域的概率量至少为$ϵ/4$。

设$l,r,b,t$来定义$R:R=[l,r]\times [b,t]$,设$s_i来定义r_i:r_4=[l,s_4]\times [b,t]$, s 4 = i n f { s : P [ [ l , s ] × [ b , t ] ≥ ϵ / 4 ] } , i n f { ⋅ } 表 示 下 限 s_4 = inf\{s: P[[l,s]\times [b,t] \geq \epsilon/4]\},inf\{·\}表示下限 s4​=inf{s:P[[l,s]×[b,t]≥ϵ/4]},inf{⋅}表示下限，由此可以定义$r_i$的概率量$\stackrel{-}{r_i}=[l,s_i]\times [b,t],i=1,2,3,4$

如果$R_S$的四个边都在$r_i$里面，那么他的错误区域，也就是他没有覆盖的R的部分区域被包含在$\stackrel{-}{r_i}$里，概率量不会超过$ϵ$。也就是说，如果$R(R_S)>ϵ$,$R_S$至少有一个边不在region $r_i$里。于是可得：
P S ∼ D m [ R ( R S ) > ϵ ] ≤ P S ∼ D m [ ∪ i = 1 4 { R S ∩ r i = ∅ } ] ≤ ∑ i = 1 4 P S ∼ D m [ R S ∩ r i = ∅ ] ≤ 4 ( 1 − ϵ / 4 ) m , 因 为 P ( r i ) ≥ ϵ / 4 ≤ 4 exp ⁡ ( − m ϵ / 4 ) , 因 为 ( 1 − x ) ≤ exp ⁡ ( − x ) \mathop{P}\limits_{S\sim D^m}[R(R_S) > \epsilon]\leq \mathop{P}\limits_{S\sim D^m}[\cup_{i=1}^4\{R_S\cap r_i = \varnothing\}] \\\leq\sum_{i=1}^4\mathop{P}\limits_{S\sim D^m}[R_S\cap r_i = \varnothing]\\ \leq4(1-\epsilon/4)^m,\quad因为P(r_i) \geq\epsilon/4\\ \leq4\exp(-m\epsilon/4),\quad因为(1-x)\leq\exp(-x) S∼DmP​[R(RS​)>ϵ]≤S∼DmP​[∪i=14​{RS​∩ri​=∅}]≤i=1∑4​S∼DmP​[RS​∩ri​=∅]≤4(1−ϵ/4)m,因为P(ri​)≥ϵ/4≤4exp(−mϵ/4),因为(1−x)≤exp(−x)

这里要着重解释一下倒第二步，为什么这样把$m$引进不等式：
我们要注意到这里的$P$表示的不是传统意义上概率论里面的概率，他表示的是概率量，
$\underset{S\sim D^m}{P}[R_S\cap r_i=\varnothing ]$针对的是对于$S$里的所有样本。这个$S$是算法$A$获得的一批有标签的$S$，且正样本全都包含在$R_S$里（因为返回的是tightest rectangle， 输入样本只包含正样本即可），因为$R_S$的形状是完全取决于训练样本的位置的，那么$R_S\cap r_i=\varnothing$的概率就等价于这$m$个点都落在r_i外的概率。

回到前面的定义：要对于任何样本数量$m\ge poly(1/ϵ,1/\delta ,n,size(c))$的样本集都满足下式：
$$\begin{gathered} \underset{S\sim D^m}{P}[R(h_S)\le ϵ]\ge 1-\delta \\ e.g.\underset{S\sim D^m}{P}[R(h_S)\ge ϵ]\le \delta \\ e.g.4\exp (-mϵ/4)\le \delta \\ e.g.m\ge \frac{4}{ϵ}\log \frac{4}{\delta } \end{gathered}$$

也就是说，想要在给定$S$的情况下，算法返回的映射的generalization error$<ϵ$,输入样本$S$的大小$m$必须大于等于$\frac{4}{ϵ}\log \frac{4}{\delta }$。同时，输入样本的表达和待求矩阵的表达的计算开销都是常数（点由坐标即可表示，矩阵由4个角即可表示），这样就得到了该问题的样本复杂度。 因为样本复杂度为$O(1/ϵ\log 1/\delta )$，所以该问题是PAC-learnable。

相应的，我们也可以给出当前问题的generalization bound。也就是，有大于等于$1-\delta$的概率，$R(R_S)$的上界由$m,\delta$决定。
我们令$\delta =4\exp (-mϵ/4)$从而计算$ϵ=\frac{4}{m}\log \frac{4}{\delta }$
可得上界：$$R(R_S)\le \frac{4}{m}\log \frac{4}{\delta }$$

不过一个相似的证明并不能直接应用到另一个相似的$concepts$ class，因为证明过程中特定的几何参数是十分重要的，无法直接作用到其他$concepts$里。 所以我们需要一个更为普遍的证明技巧和一个更为普遍的结论。下面就来介绍一般化的情况~

Guarantees for finite hypothesis sets——consistent case

上一个例子中，算法返回的$h_S$总是"一致的"（consistent,下面都用英文来表示，更突显其定义性），consistent就是说在训练集$S$上不会出错。
这一节主要针对的consistent 映射来讨论他的样本复杂度，或者说generalization bound。这里讨论的映射集的基数$|H|$是有限的，同时因为我们针对的是consistent 映射，我们会假定目标$concepts$ $c$在$H$里。

定理2

令$H$表示从$X$到$Y$的有限映射集合。$A$是解决这一类问题的算法，并且返回一个consistent 映射$h_S：\widehat{R_S}(h_S)=0$。对于任何$ϵ,\delta >0$，不等式$P_{s\sim D^m}[R(h_s)\le ϵ]\ge 1-\delta$都在以下情况成立的条件下成立：
$$m\ge \frac{1}{ϵ}(\log |H|+\log \frac{1}{\delta })$$
据此也可得出generalization bound：对于任意$ϵ,\delta >0$，至少有$1-\delta$的概率认为：
$$R(h_S)\le \frac{1}{m}(\log |H|+log\frac{1}{\delta })$$

证明如下：
给定一个$ϵ>0$。我们并不知道算法将会返回哪一个consistent映射，所以我们要对所有的consistent映射做一个“统一的收敛边界”，也就是所有的consistent映射都成立。因此，我们要重点限制那些error大于$ϵ$的consistent映射。定义 H ϵ = { h ∈ H : R ( h ) > ϵ } H_\epsilon=\{h\in H:R(h) > \epsilon\} Hϵ​={h∈H:R(h)>ϵ}可以得到以下边界：
$$P[\widehat{R_S(h)=0}]\le (1-ϵ{)}^m,h\in H_{ϵ}$$

解释：因为已知$h\in H_{ϵ}$对于i.i.d.的样本的generalization error $>ϵ$，那么该假设同时consistent的概率就是对于训练样本集$S$中所有的样本都不犯错的概率，也就是$(1-ϵ{)}^m$。

由此可以推出：
$$\begin{gathered} P[\exists h\in H_{ϵ}:\widehat{R_S}=0]=P[\widehat{R_S}(h_1)=0\vee \widehat{R_S}(h_2)=0,...,\widehat{R_S}(h_{|H_{ϵ}|})=0] \\ \le \sum _{h\in H_{ϵ}}P[\widehat{R_S}(h)=0] \\ \le \sum _{h\in H_{ϵ}}(1-ϵ{)}^m\le |H|(1-ϵ{)}^m\le |H|e^{-mϵ} \end{gathered}$$
不等式解释：$P[\exists h\in H_{ϵ}:\widehat{R_S}=0]$表示存在generalization error大于$ϵ$的consistent映射的概率，存在这样的映射的概率要小于$\delta$，等价于$P[R(h_S)<ϵ]$，又因为要求$P[R(h_S)<ϵ]<\delta$:
令$|H|e^{-mϵ}=\delta$即可得证上述两个定理

这说明：一个consistent算法$A$是PAC-learning算法的要求是他的映射集的基数有限（为常数）。

注意：
$R(h_S)\le \frac{1}{m}(\log |H|+log\frac{1}{\delta })$这个公式说明了consistent映射的generalization error的上界随$m$的上升而下降，这也非常符合我们的常识：训练的数据量越大，模型越准确。
我们想让设计一个consistent算法的代价就是要用更大的映射集$H$，使得它能够包含目标映射。尽管损失边界也随着$H$基数增加而增加，不过这是一个log级别的差距

下面举几个具体的例子来说明PAC怎么用：

Example 2 布尔变量的合取式

class $C_n$是至多n个布尔变量$x_1,x_2,...,x_n$的合取式集合。每一个变量都有两种表现形式，$x_i$ 或者$\stackrel{-}{x_i}$（取反）。例如一个concept是$x_1\wedge \stackrel{-}{x_2}\wedge x_4$，那么对于样本$(1,0,0,1)$，它的结果是1(true）,对于样本$(1,0,0,0)$它的结果是0(false)。
算法要做的就是分析给定的样本集，返回最符合样本的布尔表达式。对于每一个正样本$(b_1,..,b_n)$，如果$b_i=1$,那么$\stackrel{-}{x_i}$就被排除了，反之$x_i$被排除。最后把剩下的布尔元素组合起来。

于是$|H|=|C|=3^n$，因为一个变量，一个布尔表达式可能包含的他本身，也可能包含他的逆，也可能不包含这个变量。带入上文计算样本复杂度的公式，对于任意的$ϵ,\delta >0$：
$$m\ge \frac{1}{ϵ}((\log 3)n+log\frac{1}{\delta })$$
因为右式是关于$\frac{1}{ϵ}、\frac{1}{\delta }$的多项式，所以这一问题是PAC-learnable。

令$\delta =0.02,ϵ=0.1==>m\ge 149$。所以，当训练样本至少为149时，边界保证我们至少有98%的把握说我们找到的映射的准确度是90%。

Eample 3

令 X = { 0 , 1 } n X=\{0,1\}^n X={0,1}n表示所有有n个元素的布尔向量。$U_n$是$concept$ class，由$X$的所有子集构成。
为了保证能consistent 映射，映射集合$H$必须包含$concepts$集合$U_n$==>$|H|\ge |U_n|=2^{2^n}$
样本复杂度：
$$m\ge \frac{1}{ϵ}((log2)2^n+log\frac{1}{\delta })$$
这是关于n的指数表达式，表达样本的复杂度也是指数的（$2^n$）。所以不能保证任务是PAC-learnable。

Example 4 k-term DNF formulea

这里把上面提到的布尔表达式（单纯的与or或）扩展成了析取范式（k-term DNF formulea），析取范式包括k项，每一项都是n个布尔变量的合取式。例如：$k=2,n=3$的一个concept：$(x_1\wedge x_2\wedge x_3)\vee (x_1\wedge \stackrel{-}{x_2}\vee x_3)$。

显然，class $C$的基数是$3^{nk}$。为了保证consistent, $|H|\ge |C|=3^{nk}$
样本复杂性边界是：
$$m\ge \frac{1}{ϵ}((\log 3)nk+\log \frac{1}{\delta })$$
是关于$\frac{1}{ϵ}$和$\log \frac{1}{\delta }$的多项式。因此是PAC-learnable.

然而这个算法并不是efficently PAC-learnable。因为这个问题可以看做是三色图问题，解决他是一个NP问题。除非当RP=NP的时候，但是这几乎不可能发生。

Example 5 k-term CNF formulea

上一个例子是析取范式，现在看一看合取范式（k-CNF formulea）。他是否也跟析取范式一样，不是一个efficiently PAC-learnable问题呢？
答案是：k-CNF formulea是一个efficiently PAC-learnable问题。
Why??
回想我们举得第一个关于布尔表达式例子，是n个布尔变量的合区式，而k-CNF的表达形式是：$(x_1\vee ...\vee x_k)\wedge ...\wedge (x_1\vee ...\vee x_k)=>T_1\wedge ...\wedge T_n$。
也就是说我们可以引入一个新的变量$T_i$来表示k-CNF的每一个合区的项$(x_1\vee ...\vee x_k)$。虽然这样的变化会使得样本分布改变，但是并不影响PAC-learn框架，因为他并不需要对样本分布做特殊假设。这样就把k-CNF问题转变成了n个布尔变量的合取形式。因此也是PAC-learnable。

有同学可能会想到：k-DNF也是可以转换成k-CNF的形式呀？为什么k-DNF不是efficiently PAC-learnable呢？
因为从k-DNF转换到k-CNF这个过程本身就是一个NP问题。

Guarantees for finite hypothesis sets——inconsistent case

上一节介绍的是映射（hypothesis）集$H$基数有限，并且算法返回的映射是consistent的情况下，样本复杂度以及generalization error边界的计算。这一节扩展到了inconsistent case。因为一般情况下，$H$里也许没有consistent的映射，能够在训练集上完全不犯错误。因为现实生活中的$concepts$ classes比能学习的映射集$H$复杂多了。（想象一下：影响房价的因素可能有房屋大小、地理位置、历史价格等等许多因素，这个影响过程是非常复杂的，即$concepts$十分复杂，而我们在做机器学习来学习映射集时只能通过多项式+非线性函数来逼近这个映射过程，却很难做到完全一致。然而找到一个在训练集上犯错概率很小的映射也是很具有实用意义的）所以考虑inconsistent case更具有现实意义。

为了推导出这种情况下的边界，使用了霍夫丁不等式（Hoeffding’s inequality）或者下属的这一有关某一固定映射（hypothesis）的empirical error和generalization error推论

Hoeffding不等式指的是某个事件的真实概率与在伯努利试验中观察到的频率之间的差异

推论1

固定$ϵ>0$，对于任意假设 h : X → { 0 , 1 } h:X\rightarrow \{0,1\} h:X→{0,1},下述不等式成立：
$$\begin{gathered} \underset{S\sim D^m}{P}[\widehat{R_S}(h)-R(h)\ge ϵ]\le \exp (-2m{ϵ}^2) \\ \underset{S\sim D^m}{P}[\widehat{R_S}(h)-R(h)]\le -ϵ]\le \exp (-2m{ϵ}^2) \\ =>\underset{S\sim D^m}{P}[|\widehat{R_S}(h)-R(h)|]\ge ϵ]\le 2\exp (-2m{ϵ}^2) \end{gathered}$$
（上述公式直接从霍夫丁不等式导出）
设$\delta =2\exp (-2m{ϵ}^2)$，计算出$ϵ$可以得到下一推论:

推论2

给定一个映射 h : X → { 0 , 1 } h:X\rightarrow\{0,1\} h:X→{0,1},对任意$\delta >0$，以下不等式至少有$1-\delta$的概率成立:
$$R(h)\le \widehat{R_S}+\sqrt{\frac{\log \frac{2}{\delta }}{2m}}$$
(由上一个推论得到）

举个栗子：

Example 6 扔硬币

假设一个不均匀的硬币，正面朝上的概率是$p$，同时设一个映射只会猜反面。。那么这个映射的generalization error $R(h)=p$,empirical error $\widehat{R_S}=\hat{p}$，$\hat{p}$就是映射在训练集上猜错的概率。这样推论2保证了有$1-\delta$的概率使得：
$$|p-\hat{p}|\le \sqrt{\frac{\log \frac{2}{\delta }}{2m}}$$

如果我们设$\delta =0.02$,样本大小为500，那么我们就有$98\%$的把握说：
$$|p-\hat{p}|\le \sqrt{\frac{\log (10)}{1000}}\approx 0.048$$

这意味着：对于一个固定的映射和$\delta$，当我们使用的训练样本越多，计算得到的empirical error在$1-\delta$的把握下越接近generalization error。

然而对于我们在真实学习的时候面对的是一个映射集$H$而非单个映射，要保证对于每一个返回的映射都能使其empirical error尽可能和generalization error接近。

定理 3

令$H$是一个有限映射集。对于任意$\delta >0$，至少有$1-\delta$的概率使得下式成立：
$$\forall h\in H,R(h)\le \widehat{R_S}(h)+\sqrt{\frac{\log |H|+\log \frac{2}{\delta }}{2m}}$$

证明如下：
设$h_1,h_2,..,h_{|H|}$是$H$的元素，基于推论2的联合概率如下：
$$\begin{gathered} P[\exists h\in H|\widehat{R_S}(h)-R(h)|>ϵ] \\ =P[(|\widehat{R_S}(h_1)-R(h_1)|>ϵ)\vee (|\widehat{R_S}(h_2)-R(h_2)|>ϵ)\vee ...\vee (|\widehat{R_S}(h_{|H|})-R(h_{|H|})|>ϵ)] \\ \le \sum _{h\in H}P[|\widehat{R_S}(h)-R(h)|>ϵ] \\ \le 2|H|\exp (-2m{ϵ}^2) \end{gathered}$$
令$2|H|\exp (-2m{ϵ}^2)=\delta$可以计算得到$ϵ$。从而得到定理3.
因此对于一个有限的映射集$H$:
$$R(h)\le \widehat{R_S}(h)+O(\sqrt{\frac{{\log }_2(|H|)}{m}})$$

和前面说的一样${\log }_2(|H|)$可以指用来表示$H$所占用的bits数。

这个不等式也符合我们的直观认识：更大的训练样本能提供更好的泛化性，虽然这个边界也随$|H|$上升而上升，不过是$\log$级别的。
同时也注意到，$R(h)$是和$\frac{{\log }_2(|H|)}{m}$的开方一致的，所以对于一个固定的$|H|$,相比于consistent 的情况，inconsistent的情况需要提供更大的样本量来保证相似的泛化性。

这个不等式也提供了一个平衡“减小empirical error”和“控制$|H|$”的思想：
我们要控制映射集的大小，但同时较大的映射集也可以帮助减小empirical error。但是empirical error相似的时候，建议使用更小的映射集（这样泛化性更高）。