PAC学习模型

1.问题框架

    令X代表所有实例的集合，目标函数在其上定义。例如，X可表示所有人的集合，每个人描述为属性age（young或 old）和height (short或 long)。令C代表学习器要学习的目标概念集合。C中每个目标概念c对应于X的某个子集，或一个等效的布尔函数c：X→{0,1}。例如，C中一个目标函数c为概念：“是滑雪者的人”。若x是c的正例，则c(x)=1；若x为反例，则c(x)=0。

    假定实例按照某概率分布D从X中随机产生。例如D可为从某体育用品商店走出来的人这样一个实例分布。一般地，D可为任何分布，而且它对学习器是未知的。对于D所要求的是它的稳定性，即该分布不会随时间变化。训练样例的生成按照D分布随机抽取实例x，然后x及其目标值c(x)被提供给学习器。

     在此框架下，我们感兴趣的是刻画不同学习器L的性能，这些学习器使用不同假设空间H，并学习不同类别的C中的目标概念。由于我们要求L足够一般，以从C中学到任何目标概念，所以不论训练样例的分布如何，我们经常会对C中所有可能的目标概念和所有可能的实例分布D进行最差情况的分析。

为了描述学习器输出的假设h对真实目标概念的逼近程度，首先要定义假设h对应于目标概念c和实例分布D的真实错误率（true error）。非形式的描述是：h的真实错误率为应用h到将来按分布D抽取的实例时的期望的错误率。实际上第5章已经定义了h的真实错误率。为方便起见，这里重述一下该定义，使用c表示布尔目标函数。

定义：            假设h关于目标概念c和分布D的真实错误率(true error)为h误分类按照D随机抽取的实例的概率。

error(D,h)=Pr[c(x)!=h(x)](x属于D)

概念c和h被表示为X中标为正例的实例集合。h对应于c的错误率为，随机选取的实例落入h和c不一致区间（即它们的集合差）的概率。注意，错误率定义在整个实例分布之上，而不只是训练样例之上，因为它是在实际应用此假设h到后续实例上时会遇到的真实错误率。

    关于c的h的错误率为一个随机抽取的实例落入h和c对它的分类不一致的区间的概率。+和-点表示正反训练例。注意h关于c有一个非零的错误率，尽管迄今为止h和c在所有5个训练样例上都一致。

    注意，此错误率强烈地依赖于未知的概率分布D。例如，如果D是一个均匀的概率分布，它对X中每个实例都赋予相同的概率，那么图7-1中假设的错误率将为h和c不一致的空间在全部实例空间中的比例。然而，如果D恰好把h和c不一致区间中的实例赋予了很高的概率，相同的h和c将造成更高的错误率。极端情况下若D对满足h(x)=c(x)的所有实例赋予零概率，图7-1中h的错误率将为1，而不论h和c在多少实例上分类一致。

最后，注意h对应于c的错误率不能直接由学习器观察到。L只能观察到在训练样例上h的性能，它也只能在此基础上选择其假设输出。我们将使用术语训练错误率(training error)来指代训练样例中被h误分类的样例所占比例，以区分上面定义的真实错误率。这里关于学习复杂度的分析多数围绕着这样的问题：“ h的观察到的训练错误率对真实错误率error_D(h)产生不正确估计的可能性有多大？”

     注意此问题与第5章考虑的问题之间的密切联系。回忆在第5章中定义了h关于样例集合S的样本错误率 (sample error)，为样例集合S中被h误分类的样例所占比例。上面定义的训练错误率就是当S为训练样例集合时的样本错误率。在第5章中，我们在数据样本S独立于h抽取的前提下，确定样本错误率对估计真实错误率产生误导的概率。然而当S是训练数据集合时，学到的假设非常依赖于S。因此，本章将给出这一重要的特殊情形下的分析。