机器学习 第12章-计算学习理论

机器学习 第12章-计算学习理论

12.1 基础知识

顾名思义，计算学习理论(computational learning theory)研究的是关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计。

给定样例集 $D$。假设 $X$中的所有样本服从一个隐含未知的分布$D$，$D$中所有样本都是独立地从这个分布上采样而得，即独立同分布(independent and identically distributed)样本令$h$为从$X$到$Y$的一个映射，其泛化误差为
$$E(h;\mathcal{D})=P_{\mathbf{x}\sim \mathcal{D}}(h(\mathbf{x})\ne y)$$
$h$在$D$上的经验误差为：
$$\hat{E}(h;D)=\frac{1}{m}\sum _{i=1}^mⅡ(h(x_i)\ne y_i)$$

我们会用到几个常用不等式：
Jensen不等式：对于凸函数$f(x)$，有
$$f(E(X))\le E(f(x))$$
Hoeffding不等式：若有m个独立随机变量，且对任意的i∈[0,1]，则对任意ϵ>0，那么有
$$P(\frac{1}{m}\sum _{i=1}^m{x}_i-\frac{1}{m}\sum _{i=1}^{m}E(x_i)⩾ϵ)⩽exp(-2m{ϵ}^2)$$
$$P(|\frac{1}{m}\sum _{i=1}^m{x}_i-\frac{1}{m}\sum _{i=1}^{m}E(x_i)|⩾ϵ)⩽2exp(-2m{ϵ}^2)$$
McDiarmid不等式： 若有m个独立随机变量，且对任意的i∈[0,1]，则有
$$su{p}_{x_1,\dots ,x_m,x_i^{\prime }}\mid f(x_1,\dots ,x_m)-f(x_1,\dots ,x_{i-1}，x_i^{\prime }，x_{i+1}，\dots ，x_m)\mid ⩽c_i$$

12.2 PAC学习

计算学习理论中最基本的是概率近似正确(ProbablyApproximatelyCorrect，简称 PAC)学习理论。“概率近似正确”这个名字看起来有点古怪，我们稍后再解释

令$c$表示“概念”(concept)，这是从样本空间$X$到标记空间$Y$的映射，它决定示例$x$的真实标记$y$，若对任何样例$(x,y)$有$c(x)=y$成立，则称$c$为目标概念；所有我们希望学得的目标概念所构成的集合称为“概念类”(conceptclass)，用符号$C$表示

给定学习算法只它所考虑的所有可能概念的集合称为“假设空间”(hypothesisspace)，用符号$H$表示。由于学习算法事先并不知道概念类的真实存在，因此$H$和$C$通常是不同的，学习算法会把自认为可能的目标概念集中起来构成$H$，对$h\in H$，由于并不能确定它是否真是目标概念，因此称为“假设”(hypothesis)。显然，假设$h$也是从样本空间$X$到标记空间$Y$的映射。

若目标概念$c\in H$，则$H$中存在假设能将所有示例按与真实标记一致的方式完全分开，我们称该问题对学习算法$\mathcal{L}$是“可分的”(separable)，亦称“-致的”(consistent)；若$c\notin H$，则$H$中不存在任何假设能将所有示例完全正确分开，称该问题对学习算法$\mathcal{L}$是“不可分的”(non-separable)，亦称“不一致的”(non-consistent)。

令$\delta$表示置信度，那么可以定义：
PAC辨识：对$0<ϵ，\delta <1$，所有$c\in C$和分布$D$，若存在学习算法$\mathcal{L}$，其输出假设$h\in H$满足
$$P(E(h)\le ϵ)\ge 1-\delta$$
则称学习算法$\mathcal{L}$能从假设空间$H$中PAC辨识概念类$C$

PAC可学习：令m表示从分布$D$中独立同分布采样得到的样例数目，$0<ϵ，\delta <1$，对所有分布T，若存在学习算法$\mathcal{L}$和多项式函数$poly(\cdot ,\cdot ,\cdot ,\cdot )$，使得对任何$m\ge poly(1/ϵ,1/\delta ,size(x)，size(c))$，$\mathcal{L}$能从假设空间PAC辨识概念类$C$，那么就可以说概念类$C$对假设空间$H$而言是PAC可学习的，简称为概念类$C$是PAC可学习的。

PAC学习算法：若学习算法$\mathcal{L}$是概念类$C$为PAC可学习的，且$\mathcal{L}$的运行时间也是多项式函数$poly(1/ϵ,1/\delta ,size(x)，size(c))$，那么称概念类$C$是高效PAC可学习的，称$\mathcal{L}$为概念类C的PAC学习算法。

样本复杂度：满足PAC学习算法$\mathcal{L}$所需的 $m>poly(1/ϵ,1/\delta ,size(x)，size(c))$中最小的 $m$，称为学习算法$\mathcal{L}$的样本复杂度。

PAC 学习中一个关键因素是假设空间$H$的复杂度。$H$包含了学习算法$\mathcal{L}$所有可能输出的假设，若在 PAC 学习中假设空间与概念类完全相同，即$H=C$这称为“恰 PAC 可学习”(properly PAC learnable)；直观地看，这意味着学习算法的能力与学习任务“恰好匹配”。然而，这种让所有候选假设都来自概念类的要求看似合理，但却并不实际，因为在现实应用中我们对概念类$C$通常一无所知，更别说获得一个假设空间与概念类恰好相同的学习算法。显然，更重要的是研究假设空间与概念类不同的情形，即$H\ne C$。一般而言，$H$越大，其包含任意目标概念的可能性越大，但从中找到某个具体目标概念的难度也越大。$|H|$有限时，我们称 "为“有限假设空间”，否则称为“无限假设空间”

12.3 有限假设空间

12.3.1 可分情形

可分情形意味着目标概念$c$属于假设空间，即$c\in H$。给定包含$m$个样例的训练集$D$，如何找出满足误差参数的假设呢？

容易想到一种简单的学习策略:既然$D$中样例标记都是由目标概念$c$赋予的，并且$c$存在于假设空间中，那么，任何在训练集$D$上出现标记错误的假设肯定不是目标概念$c$。于是，我们只需保留与$D$一致的假设，剔除与$D$不一致的假设即可。若训练集$D$足够大，则可不断借助$D$中的样例剔除不一致的假设，直到 H中仅剩下一个假设为止，这个假设就是目标概念c 通常情形下，由于训练集规模有限，假设空间"中可能存在不止一个与D一致的“等效”假设，对这些等效假设，无法根据 D来对它们的优劣做进一步区分。

到底需多少样例才能学得目标概念$c$的有效近似呢？对 PAC 学习来说，只要训练集$D$的规模能使学习算法$\mathcal{L}$以概率$1-\delta$找到目标假设的$ϵ$近似即可。

我们先估计泛化误差大于$ϵ$但在训练集上仍表现完美的假设出现的概率。假定$h$的泛化误差大于$ϵ$，对分布$D$上随机采样而得的任何样例$(x,y)$有
$$P(h(x)=y)<1-ϵ$$

由于$D$包含$m$个从$D$独立同分布采样而得的样例，因此$h$和$D$表现一致的概率为：
$$P((h(x_1)=y_1)\wedge \dots \wedge (h(x_m)=y_m))=(1-P(h(x)\ne y){)}^m<(1-ϵ{)}^m$$

最终可得：
$$m⩾\frac{1}{ϵ}(ln|H|+ln\frac{1}{\delta })。$$
由此可知，有限假设空间$H$都是PAC可学习的，输出假设$h$的泛化误差随样例数目的增多而收敛到0，收敛速率为$O(\frac{1}{m})$

12.3.2 不可分情形

目标概念不存在于假设空间中，假设空间中的任何一个假设都会在训练集上面出现错误。通过Hoeffding不等式可以知道

若训练集包含$m$个从分布$D$上独立同分布采样而得得样例，$0<ϵ<1$。对于任意$h\in H$，可以得到：
$$P(\hat{E}(h)-E(h)⩾ϵ)⩽exp(-2m{ϵ}^2)$$
$$P(E(h)-\hat{E}(h)⩾ϵ)⩽exp(-2m{ϵ}^2)$$
$$P(\mid E(h)-\hat{E}(h)\mid \mid ⩾ϵ)⩽2exp(-2m{ϵ}^2)$$

若训练集$D$包含$m$个从分布$D$上独立同分布采样而得的样例，$0<\epsilon <1$，则对任意$h\in H$，下式以至少$1-\delta$的概率成立：
$$\hat{E}(h)-\sqrt{\frac{ln(2/\delta )}{2m}}⩽E(h)⩽\hat{E}(h)+\sqrt{\frac{ln(2/\delta )}{2m}}$$

若$H$为有限假设空间，$0<\delta <1$，则对任意 $h\in H$，有
$$P(\mid E(h)-\hat{E}(h)\mid ⩽\sqrt{\frac{ln|H|+ln(2/\delta )}{2m}})⩾1-\delta$$

显然，当$c\notin H$时，学习算法$\mathcal{L}$无法学得目标概念$c$的$ϵ$近似。但是，当假设空间$H$给定时，其中必存在一个泛化误差最小的假设，找出此假设的近似也不失为一个较好的目标。$H$中泛化误差最小的假设是 argminheqE(h)于是，以此为目标可将PAC学习推广到c的情况，这称为“不可知学习”(agnostic learning)。相应的，我们有：

不可知PAC可学习：令m表示从分布T中独立同分布采样得到得，$0<ϵ，\delta <1$，对所有分布T，如果存在学习算法和多项式函数使得对于任何$m\ge poly(1/ϵ,1/\delta ,size(x)，size(c))$，学习算法可以从假设空间中输出满足下式得假设h
$$P(E(h)-mi{n}_{h\prime \in H}E(h\prime )⩽ϵ)⩾1-\delta$$
那么就称假设空间H是不可知PAC可学习的。

12.4 VC维

现实学习任务所面临的通常是无限假设空间，例如实数域中的所有区间、Rd空间中的所有线性超平面。欲对此种情形的可学习性进行研究，需度量假设空间的复杂度。最常见的办法是考虑假设空间的“VC维”(Vapnik-Chervonenkis dimension)

介绍 VC 维之前，我们先引入几个概念:增长函数(growth function)、对分(dichotomy)和打散(shattering)

增长函数：给定假设空间$H$和示例集$D$，$H$中每个假设h都能对D 中示例赋予标记，标记结果可表示为$h{|}_D$，随着样本数量m的增大，假设空间对样本集$D$的标记结果也会增大，增长函数则表示假设空间对$m$个样本的数据集$D$标记的最大可能结果数。假设空间H的增长函数为：
Π H ( m ) = m a x { x 1 , … , x m } ⊆ X ∣ { ( h ( x 1 ) ， … ， h ( x m ) ) ∣ h ∈ H } ∣ Π_H(m)=max_{\{x1,…,xm\}⊆X}|\{(h(x_1)，…，h(x_m))∣h∈H\}| ΠH​(m)=max{x1,…,xm}⊆X​∣{(h(x1​)，…，h(xm​))∣h∈H}∣
可以利用增长函数来估计经验误差与泛化误差之间的关系
$$P(\mid E(h)-\hat{E}(h)\mid >ϵ)⩽4{\Pi }_H(2m)exp(-\frac{m{ϵ}^2}{8})$$
假设空间$H$中不同的假设对于$D$中示例赋予标记的结果可能相同，也可能不同；尽管$H$可能包含无穷多个假设，但其对 $D$中示例赋予标记的可能结果数是有限的:对$m$个示例，最多有$2^m$个可能结果。

对二分类问题来说，$H$中的假设对$D$中示例赋予标记的每种可能结果称为对$D$的一种“对分”。若假设空间M能实现示例集D上的所有对分，即${Ⅱ}_H(m)=2^m$，则称示例集D能被假设空间$H$“打散”。

假设空间$H$的VC维是能被$H$打散的最大示例集的大小，即
$$VC(H)=maxm:{\Pi }_H(m)=2^m$$
$VC(H)=d$表明存在大小为$d$的示例集能被假设空间$H$打散。注意:这并不意味着所有大小为d的示例集都能被假设空间$H$打散。

12.5 Rademacher复杂度

Rademacher复杂度(Rademacher complexity)是另一种刻画假设空间复杂度的途径，与 VC 维不同的是，它在一定程度上考虑了数据分布。

函数空间$F$关于$Z$的经验Rademacher复杂度
$${\hat{R}}_Z(F)=E_{\sigma }[su{p}_{f\in F}\frac{1}{m}\sum _{i=1}^m{\sigma }_{i}f(z_i)]$$
经验 Rademacher 复杂度衡量了函数空间$F$下与随机噪声在集合$Z$中的相关性。通常我们希望了解函数空间$F$下在$Z$上关于分布$D$的相关性，因此，对所有从$D$独立同分布采样而得的大小为$m$的集合$Z$求期望可得。

函数空间$F$关于$Z$上分布$D$的Radwmacher复杂度为
$$R_m(F)=E_{Z\subseteq Z:|Z|=m}[{\hat{R}}_Z(F)]$$
基于此式可以得到关于函数空间F的泛化误差界。

对实值函数空间F:Z→[0,1]，根据分布$D$从$Z$中独立同分布采样得到示例集$Z$，且0<δ<1，对任意$f\in F$， 以至少$1-\delta$的概率有：
$$E[f(z)]⩽\frac{1}{m}\sum _{i=1}^{m}f(z_i)+2R_m(F)+\sqrt{\frac{ln(1/\delta )}{2m}}$$
$$E[f(z)]⩽\frac{1}{m}\sum _{i=1}^{m}f(z_i)+2{\hat{R}}_Z(F)+3\sqrt{\frac{ln(2/\delta )}{2m}}$$

其中函数空间F是区间[0,1]上的实值函数，因此上式只适用于回归问题

对于二分类问题，定义为：对假设空间$H:\chi \to -1,+1$，根据分布$D$从$\chi$中独立同分布采样得到示例集$D$，$0<\delta <1$，对任意$h\in H$，以至少$1-\delta$的概率有：
$$E(h)⩽\hat{E}(h)+R_m(H)+\sqrt{\frac{ln(1/\delta )}{2m}}$$
$$E(h)⩽\hat{E}(h)+{\hat{R}}_D(H)+3\sqrt{\frac{ln(2/\delta )}{2m}}$$

上述给出了基于Rademacher 复杂度的泛化误差界。对比可知，基于 VC 维的泛化误差界是分布无关、数据独立的，。换言之基于 Rademmacher 复杂度的泛化误差界依赖于具体学习问题上的数据分布，有点类似于为该学习问题“量身定制”的，因此它通常比基于VC 维的泛化误差界更紧一些。

12.6 稳定性

无论是基于 VC 维还是 Rademacher 复杂度来推导泛化误差界，所得到的结果均与具体学习算法无关，对所有学习算法都适用。这使得人们能够脱离具体学习算法的设计来考虑学习问题本身的性质，但在另一方面，若希望获得与算法有关的分析结果，则需另辟蹊径。稳定性(stability)分析是这方面一个值得关注的方向。

顾名思义，算法的“稳定性”考察的是算法在输入发生变化时，输出是否会随之发生较大的变化。学习算法的输入是训练集，因此下面我们先定义训练集$D$的两种变化:
$D^{\setminus i}$表示移除D中第i个样例得到的集合$D^{\setminus i}=z_1,z_2,\cdots ,z_{i-1}，z_{i+1}，\cdots ，z_m$

$D^i$表示移除D中第i个样例得到的集合KaTeX parse error: Expected group after '^' at position 27: …z_2,⋯,z_{i−1}，z^̲'_i，z_{i+1}，⋯，z…

其中$z_i^{\prime }=(x_i^{\prime },y_i^{\prime })，x_i^{\prime }$服从分布$D$并独立于D

损失函数刻画了假设${\mathcal{L}}_D$的预测标记${\mathcal{L}}_D(x)$与真实标记$y$之间的差别，简记为$l({\mathcal{L}}_D，z)$。下面定义关于假设${\mathcal{L}}_D$的几种损失。

泛化损失
$$\ell (\mathcal{L}，D)=E_{x\in X,z=(x,y)}[\ell ({\mathcal{L}}_D，z)]$$
经验损失
$$\hat{\ell }(\mathcal{L}，D)=\frac{1}{m}\sum _{i=1}^m\ell ({\mathcal{L}}_D，z_i)$$
留一损失
$${\ell }_{loo}(\mathcal{L}，D)=\frac{1}{m}\sum _{i=1}^m\ell ({\mathcal{L}}_{D^{\setminus i}}，z_i)$$

对任意的$x\in \chi ，z=(x,y)$，若学习算法满足：
$$|\ell ({\mathcal{L}}_D，z)-\ell ({\mathcal{L}}_{D^{\setminus i}}，z)|\le \beta$$
则称$\mathcal{L}$关于损失函数$\ell$满足$\beta$-均匀稳定性

若损失函数有界，那么：

给定从分布$D$上独立同分布采样得到的大小为$m$的示例集$D$，若学习算法$\mathcal{L}$满足关于损失函数ℓ的β-均匀稳定性，且损失函数l的上界为$M$，$0<\delta <1$，则对任意$m\ge 1$，以至少$1-\delta$的概率有
$$\ell (\mathcal{L}，D)⩽\hat{\ell }(\mathcal{L}，D)+2\beta +(4m\beta +M)\sqrt{\frac{ln(1/\delta )}{2m}}$$
$$\ell (\mathcal{L}，D)⩽{\ell }_{loo}(\mathcal{L}，D)+\beta +(4m\beta +M)\sqrt{\frac{ln(1/\delta )}{2m}}$$

对损失函数$\ell$，若学习算法所输出的假设满足经验损失最小化，那么就可以说算法$\mathcal{L}$满足经验风险最小化原则，简称ERM。若学习算法是ERM且稳定的，则假设空间H可学习。