Foundation of Machine Learning 笔记第五部分 (1) —— Rademacher Complexity 和 VC 维

前言

注意事项：

1. 这个系列的文章虽然题为书本《Foundation of Machine Learning》的读书笔记，但实际我是直接对书本的部分内容进行了个人翻译，如果这个行为有不妥当的地方，敬请告知。
2. 由于知识面限制，部分名词的翻译可能存在错误，部分难以翻译的名词保留英文原词。为了防止误导大家，在这里声明本文仅供参考。
3. 本文基本翻译自《Foundation of Machine Learning》的3.1节。

正文

机器学习中所用到的假设集一般是无穷大的。但是上一章中的样本复杂度上限并不能应付假设集无穷大的情况 (假设集无穷大会导致其不等式右侧也变得无穷大)。当假设集无限大时，我们甚至于不知道是否存在能够从有限的样本中高效地找出目标假设的算法。这一章将引出无穷大假设集下通用的样本复杂度上限。

为了引出这样一个样本复杂度上限，一个简单的想法是：把假设集中无穷多的假设分解为有限多类，然后通过上一章的方法求出样本复杂度上限。通过很多种技巧我们可以对假设集进行分解，而每个技巧对应着不同的描述假设集复杂度的概念。我们将使用的第一个复杂度概念是 Rademacher Complexity。它将帮助我们通过相对简单的证明引出学习保证，证明过程中将会使用 McDiarmid 不等式，这样能得到高质量的上限。但是，对于某些假设集，Rademacher Complexity 的计算复杂度是 NP-难的。因此，我们接下来会引入其他两个纯粹的组合概念：成长函数和 VC 维。我们首先把成长函数和 Rademacher Complexity 联系起来，然后找到成长函数的上限，而这个上限是与 VC 维的值相关的。VC 维往往更加容易去测量，或者可以更加容易地求出其上限。这样，我们就得到了一种基于 VC 维的泛化限制了。最后，我们会根据 VC 维给出假设集一致和不一致两种情况下的学习限制，这将证明 VC 维在学习中的重要地位。

3.1 Rademacher Complexity

我们将继续用 $H$ 指代一个假设集，用 $h$ 指代 $H$ 中的一个元素。这一节的结论对于任意损失函数 $L:\mathcal{Y}\times \mathcal{Y}\to \mathbb{R}$ 都成立。对于每一个 $h$，我们不明确地写出损失函数 $L$ 是何种形式，而是定义一个从 $(x,y)\in \mathcal{X}\times \mathcal{Y}$ 映射到 $L(h(x),y)$ 的函数 $g$。然后 $G$ 定义为与 $H$ 相关的损失函数族。

Rademacher Complexity 通过计算假设集拟合随机噪声的能力，量化了一族函数的丰富度。下面是 empirical Rademacher complexity 和 average Rademacher complexity 的定义。

定义3.1 Empirical Rademacher complexity

把 $G$ 看做是一族从样本空间 $Z$ 映射到 $[a,b]$ 的函数，把 $S=(z_1,\dots ,z_m)$ 看做是一个样本量固定的样本集，其中的每个样本都从 $Z$ 中抽取。那么，$G$ 关于样本集 $S$ 的 empirical Rademacher complexity 定义为：$${\hat{\mathfrak{R}}}_S(G)=E_{\sigma }\left[\underset{g\in G}{\sup }\frac{1}{m}\sum _{i=1}^m{\sigma }_{i}g(z_i)\right],\text{\hspace{1em}(3.1)}$$这里 $\sigma ={({\sigma }_1,\dots ,{\sigma }_m)}^{\top }$，其中 ${\sigma }_i$ 是从 { − 1 , + 1 } \{-1,+1\} {−1,+1} 中取值的相互独立的均匀分布。称随机变量 ${\sigma }_i$ 为 Rademacher 变量。

设 $g_S=(g(z_1),\dots ,g(z_m){)}^{\top }$。那么，empirical Rademacher complexity 可以写成 $${\hat{\mathfrak{R}}}_S(G)=E_{\sigma }\left[\underset{g\in G}{\sup }\frac{\sigma \cdot g_S}{m}\right].$$ 內积 $\sigma \cdot g_S$ 量化了 $g_S$ 和随机变量向量 $\sigma$ 之间的相关性。因此，empirical Rademacher complexity 表示函数族 $G$ 在样本集 $S$ 上的输出与随机噪声的相关性的均值 。它描述了 $G$ 的丰富度：越是丰富越是复杂的函数族 $G$ 可以产生更多种不同的向量 $g_S$，他们就能与随机噪声拟合得更好( 我的理解：我在看到这里的时候有点懵了。我不严谨地把 $(3.1)$ 的含义理解为， 对于给定的 $G$ 和样本，如果给定一组随机噪声，我们测量 $G$ 中与随机噪声拟合得最好的那个函数的拟合效果，这就代表了 $G$ 对噪声的拟合能力。但是对仅仅一组噪声的拟合能力并不能说明 $G$ 的丰富度有多高，起码不具说服力，所以要取 $G$ 对多组噪声的拟合程度的均值 )。

定义 3.2 Rademacher complexity

把 $D$ 看做是抽取样本的随机分布。对于任意整数 $m>1$，$G$ 的 Rademacher complexity 就是它在分布 $D$ 产生的所有样本集上的 empirical Rademacher complexity 的数学期望( 我的理解：empirical Rademacher complexity 描述了假设集对一组样本的表达的丰富度，而 Rademacher complexity 描述的是假设集对一个分布的表达的丰富度 )：$${\mathfrak{R}}_m(G)=E_{S\sim D^m}\left[{\hat{\mathfrak{R}}}_S(G)\right].\text{\hspace{1em}(3.2)}$$

在下面的与 Rademacher complexity 相关的一些不等式的证明当中，将会用到一个叫 McDiarmid 不等式的集中不等式 ( Concentration Inequality )，和凸优化中的 Jensen 不等式。书本的附录中提供了这些不等式的证明。

定理 D.3 McDiarmid 不等式

设 $X_1,\dots ,X_m\in {\mathcal{X}}^m$ 为一个 $m>1$ 个独立随机变量组成的集合，并且假设存在 $c_1,\dots ,c_m>0$，使得某个函数 $f:{\mathcal{X}}^m\to \mathbb{R}$ 对所有的 $i\in [1,m]$ 和随机变量 $\mathcal{X} $ 的任意样本点 $x_1,\dots ,x_m,x_i^{\prime }$ 满足以下条件：$$|f(x_1,\dots ,x_i,\dots ,x_m)-f(x_1,\dots ,x_i^{\prime },\dots ,x_m)|\le c_i.\text{\hspace{1em}(D.12)}$$我们用 $f(S)$ 代替 $f(X_1,\dots ,X_m)$，那么对于所有的 $ϵ>0$，下面的不等式成立：KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲\\ {\rm Pr}[f(S…我们使 $\frac{\delta }{2}=\exp \left(\frac{-2{ϵ}^2}{{\sum }_{i=1}^m{c}_i^2}\right)$，这么做的理由是方便下面相关定理的证明，我们用 $\delta$ 来表示 $ϵ$，解得 $ϵ=\sqrt{\frac{\ln \frac{2}{\delta }}{2m}}$。那么我们能换一种说法表达 (D.13) 和 (D.14)：对于任意 $\delta >0$，下列不等式各自最多有 $\delta /2$ 的概率成立KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲\\ f(S)\ge \mat…
证明 暂略，以后补充。

定理 B.4 Jensen 不等式

用 $X$ 表示定义在一个非空凸集 $C\subseteq {\mathbb{R}}^N$ 中、数学期望 ${\rm E}[X] $ 有限的随机变量，定义 $f$ 为定义在 $C$ 上的一个可测凸函数。那么， 可以证明${\rm E}[X] $ 的值也将在 $C$ 中、${\rm E}[f(X)] $ 有限、且下面的不等式成立：$$f(\mathrm{E}[X])\le \mathrm{E}[f(X)].$$
证明 暂略，以后补充。

基于 Rademacher complexity，我们准备要引出第一个泛化上限了。

定理 3.1

把 $G$ 看作是一族从 $Z$ 映射到 $[0,1]$ 的函数。那么，对于任意 $\delta >0$，下列不等式对于所有 $g\in G$ 至少有 $1-\delta$ 的概率成立：KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲\\ &{\rm E}[g(z…证明 对于任意的样本集 $S=(z_1,\dots ,z_m)$ 和任意的 $g\in G$，我们用 ${\hat{\mathrm{E}}}_S[g]$ 指代 $g$ 在样本集 $S$ 上的均值：${\hat{\mathrm{E}}}_S[g]=\frac{1}{m}{\sum }_{i=1}^{m}g(z_i)$。称 ${\hat{\mathrm{E}}}_S[g]$ 为 $g$ 的经验均值 ( 我的理解：那么 $\mathrm{E}[g]$ 表示假设 $g$ 在样本空间中所有样本上输出的数学期望。书中没有明确定义它，为了便于说明，我定义它为 $g$ 的“泛化均值”)。定义一个与样本集 $S$ 相关的函数为 ( 我的理解：函数 $\Phi$ 的含义是 $g$ 的泛化均值与经验均值的差的上界 )：$$\Phi (S)=\underset{g\in G}{\sup }(\mathrm{E}[g]-{\hat{\mathrm{E}}}_S[g]).\text{\hspace{1em}(3.5)}$$这里将通过对函数 $\Phi$ 使用 McDiarmid 不等式证明定理。设 $S$ 和 $S^{\prime }$ 为只有一个样本点不一致的两个样本集，比如认为 $S$ 中的第 $m$ 个点为 $z_m$，而 $S^{\prime }$ 中的第 $m$ 个点为 $z_m^{\prime }$。那么，由于上确界的差不大于差的上确界 ( 我的理解：可以用反证法证明，假设 ${\sup }_{x}f(x)-{\sup }_{x}g(x)\ge {\sup }_x[f(x)-g(x)]$，且函数 $g(x)$ 和函数 $f(x)$ 有相同定义域，设 $f(x^{\prime })={\sup }_{x}f(x)$，那么有 $f(x^{\prime })-g(x^{\prime })\ge f(x^{\prime })-{\sup }_{x}g(x)\ge {\sup }_x[f(x)-g(x)]$)，这与上确界的定义相矛盾。虽然书中比较的是泛函之间的关系，但同样应该能由此类推)，我们有 ：$$\Phi (S^{\prime })-\Phi (S)\le \underset{g\in G}{\sup }\left[{\hat{\mathrm{E}}}_S[g]-{\hat{\mathrm{E}}}_{S^{\prime }}[g]\right]=\underset{g\in G}{\sup }\frac{g(z_m)-g(z_m^{\prime })}{m}\le \frac{1}{m}.\text{\hspace{1em}(3.6)}$$通过同样的方法，我们也可以得到 $\Phi (S)-\Phi (S^{\prime })\le 1/m$，因此有 $|\Phi (S)-\Phi (S^{\prime })|\le 1/m$ ( 我的理解：这也不难理解，同一个假设集 $g$ 在两个只有一个元素相异的样本集上的经验均值相差不过 $1/m$，那么这两种情况下的经验均值与泛化均值的差 $\Phi$ 的差异也不超过 $1/m$ )。那么，通过 McDiarmid’s inequality，对于任意的 $\delta >0$，下面的不等式至少有 $1-\delta /2$ 的概率成立：$$\Phi (S)\le E_S[\Phi (S)]+\sqrt{\frac{\log \frac{2}{\delta }}{2m}}.\text{\hspace{1em}(3.7)}$$接下来我们限制上述不等式右侧的上限：KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲\\ \mathop{{\rm…
下面展开证明上述式子。首先是 (3.8)，为了书写方便我们把 $S^{\prime }$ 换成 $S=(z_1,\dots ,z_m)$，且省略定积分符号的上标和下标，也就是说虽然这里的积分符号都没上下标，但他们表示的不是不定积分，而是定积分：KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲\\ \mathop{\rm …
因为一个确定的函数的上确界是个常数，所以可以认为取上确界是个凸函数，那么不等式 (3.9) 就可以由 Jensen 不等式保证。在等式 (3.11) 中，我们引入了 Rademacher 变量 ${\sigma }_i$，如定义 3.2 中所说的一样，是一组独立且在 $-1,+1$ 上符合均匀分布的随机变量。加入这些随机变量不会改变 (3.10) 中的期望，因为：当 ${\sigma }_i=1$ 时，这一项不变；当 ${\sigma }_i=-1$ 时，这一项的符号改变，也就是相当于把 $z_i$ 和 $z_i^{\prime }$ 的位置交换，使得 $z_i$ 变成 $S^{\prime }$ 中的元素， $z_i^{\prime }$ 变成 $S$ 中的元素。因为我们最终要求他们在所有可能的 $S$ 和 $S^{\prime }$ 上的数学期望，这种交换不会影响最终的期望。我们只是改变了对 $z_i$ 和 $z_i^{\prime }$ 的积分顺序(2018年3月27日勘误：此处原文为"我们只是改变了对 $z_i$ 和 $z_{i-1}$ 的求导顺序"。觉得和内容不太一致，故做了修改)。(3.12) 由上确界函数的次可加性保证，$\sup (U+V)\le \sup (U)+\sup (V)$。(3.2) 可由 Rademacher complexity 的定义、以及 ${\sigma }_i$、$-{\sigma }_i$ 是相同的分布这个事实保证。

等式 (3.13) 中 ${\mathfrak{R}}_m(G)$ 的推导证明了等式 (3.3)，虽然它用的是 $\delta$，而不是 $\delta /2$。为了引出带 ${\hat{\mathfrak{R}}}_S(G)$ 这一项的上限，通过定义 3.2，我们发现 $S$ 中的一个点发生改变时 ${\hat{\mathfrak{R}}}_S(G)$ 的值最多改变 $1/m$。那么，再次使用 McDiarmid 不等式，下式至少有 $1-\delta /2$ 的概率成立：$${\mathfrak{R}}_m(G)\le {\hat{\mathfrak{R}}}_S(G)+\sqrt{\frac{\log \frac{2}{\delta }}{2m}}.\text{\hspace{1em}(3.14)}$$
最终，我们使用 union bound 联合不等式 (3.7) 和 (3.14)，证得下式至少有 $1-\delta$ 的概率成立：$$\Phi (S)\le 2{\hat{\mathfrak{R}}}_S(G)+3\sqrt{\frac{\log \frac{2}{\delta }}{2m}},\text{\hspace{1em}(3.15)}$$该式符合 (3.4)。证毕。

PS

本节内容比较多，我分成两部分写了。下部分将在下一篇博客中写。