（《机器学习》完整版系列）第12章计算学习理论——12.2 学习算法的能力（多项式成本是可以接受的，而指数成本是不可接受的）-CSDN博客

本文链接：https://blog.csdn.net/qiy_icbc/article/details/129632860

多项式成本是可以接受的，而指数成本是不可接受的。
PAC学习算法 $\mathfrak{L}$ 所需的采样成本与运行成本都为多项式成本。

学习算法的能力

上篇都是脱离了算法去讨论假设空间 $\mathcal{H}$ 的覆盖能力，这种能力是理论上的存在（实际上没解决如何找到），还要靠算法来实现其能力，现在讨论学习算法的能力。

（i）具有“天赋”的学习算法 $\mathfrak{L}$

学习算法 $\mathfrak{L}$ 的假设空间 $\mathcal{H}$ 总能“几乎近似覆盖”概念类 $\mathcal{C}$ ，即有（ $3^{'''}$ ），而学习算法 $\mathfrak{L}$ 每次（所有分布 $\mathcal{D}$ 、任意的 $\in \mathcal{C}$ ）又都能“找出” $h$ ，使得“几乎” $h\approx c$ ，即有满足（ $3$ ），则称学习算法 $\mathfrak{L}$ 能从假设空间 $\mathcal{H}$ 中PAC辨识概念类 $\mathcal{C}$ 。这即【西瓜书定义12.1】。

（ii）“天赋”高的学习算法 $\mathfrak{L}$

许多学习算法 $\mathfrak{L}$ 能从假设空间 $\mathcal{H}$ 中PAC辨识概念类 $\mathcal{C}$ 时，我们关注学习过程是否“顺利”（即时间成本），即“天赋”是否高（学习过程是否“快”）。

学习算法 $\mathfrak{L}$ 能从假设空间 $\mathcal{H}$ 中PAC辨识概念类 $\mathcal{C}$ 的辨识过程即是“找出满足（3）的 $h$ ”，实际上是在数据集 $D$ 上训练出 $h$
，训练过程有两步：一是采样形成训练集 $D$ ；二是在训练集上训练。记为
$\begin{align} \mathfrak{L}+D \mathop{\Longrightarrow}\limits_{\text{训练}} h \tag{12.3} \end{align}$

学习成本通常是指时间花费（专业地术语：时间复杂度），样本数量体现了采样时间，计算数学认为多项式成本是可以接受的，而指数成本是不可接受的。显然，成本与多个因素相关，故这里的多项式应该是多元多项式，到底有哪些因素？

正向相关的有： $\mathcal{X}$ 空间的维度（即 $\mathrm{size}(\boldsymbol{x})$ ）， $\mathcal{C}$ 中 $c$ 的复杂度（即 $\mathrm{size}(c)$ ）；反向相关的有：精度 $\epsilon$ ，置信水平 $1-\delta$ ，而要求与分布 $\mathcal{D}$ 不相关（因已加强为“对所有分布”），因此，该多元多项式为
$\begin{align} \mathrm{poly}(\frac{1}{\epsilon},\frac{1}{\delta},\mathrm{size}(\boldsymbol{x}),\mathrm{size}(c)) \tag{12.4} \end{align}$

学习成本相应地反应了“概念好不好学”，分两个层面：

（1）概念类 $\mathcal{C}$ “可学”：需要的样例数可接受

令 $m$ 表示采样数目（依分布 $\mathcal{D}$ 进行独立同分布采样形成训练集： $D\thicksim \mathcal{D}^m$ ），若存在式(12.4)多项式，只要 $m\geqslant 式(12.4)$ ，学习算法 $\mathfrak{L}$ 就能实现从假设空间 $\mathcal{H}$ 中PAC辨识概念类 $\mathcal{C}$ （可以理解为：存在学习算法 $\mathfrak{L}$ ，在此样本数条件下训练出假设空间 $\mathcal{H}_{\mathfrak{L}}$ ，而 $\mathcal{H} \cap \mathcal{H}_{\mathfrak{L}}$ 满足前述（ $3^{'''}$ ）），则称概念类 $\mathcal{C}$ 是PAC可学习的，当然，它是针对假设空间 $\mathcal{H}$ 而言，算法 $\mathfrak{L}$ 是实现的手段，因此，只需要存在这样的算法 $\mathfrak{L}$ 即可。这即【西瓜书定义12.2】的含义。

（2）概念类 $\mathcal{C}$ “好学”：需要的学时可接受

在满足上述采样成本的前题下，若算法 $\mathfrak{L}$ 的运行时间（式(12.3)中产生 $h$ 的时间）也是多项式函数（即存在式(12.4)多项式，使得运行时间不超过它），则加上“高效”，即称概念类 $\mathcal{C}$ 是高效PAC可学习的，这时的算法 $\mathfrak{L}$ 称为概念类 $\mathcal{C}$ 的PAC学习算法，常省去“PAC”，简称学习算法。这即【西瓜书定义12.3】的含义。