《西瓜书》12章——Rademacher复杂度一些问题的个人看法

最近在参照着《西瓜书》在学机器学习，看到第12章Rademacher复杂度的时候，公式12.39以及解释他的解释让人看不明白，所以查阅了一些资料，在此写一下个人的看法，如个人理解有误请见谅，欢迎探讨，话不多说，进入正文。当然，如果本人解释还能入得了各位“看官”的法眼，麻烦点赞、关注、收藏，支持一下！

为避免后续书本更新迭代，公式序号发生改变，所以先把需要解释的内容从《西瓜书》上截下来。本文主要就是为了解释下图中的公式12.39以及公式下标黄色高亮的一大段。

在讲解之前，需要先对一些事情进行说明：

1、期望符号下面标注一个符号是什么意思？——意思是对这符号求期望，这样解释可能大家会仍就感觉云里雾里，所以本人举四个例子，大家感受一下！！！

2、sup符号是什么意思？——这个符号表示上确界，如果有小伙伴实在不理解可以把它近似的理解成max，但是两者的区别，本人也要说明一下：比如函数f(x)的值域是[0,1)，那么他的上确界是1，最大值是无的，即sup[f(x)]=1,max[f(x)]=None；如果他的值域是[0,1]，那么他的上确界是1，最大值也是1，即sup[f(x)]=max[f(x)]=1

3、在探讨Rademacher复杂度时，前提假设是个二分类问题，即h(x)=1或者h(x)=-1

4、Rademacher随机变量的定义——此处直接截取《西瓜书》上的内容，如下：

现在进入正文

对于上图中的公式12.39可能有些小伙伴看了上面的解释后仍然没办法理解，所以我们将上图中的公式12.39拆分成两步来看

第一步：

这步意思就是说把h看作是自变量对f(h)求上确界，或者说，求解不同h下，f(h)的最大值

可能有些小伙伴看了上一句话还是不太理解，所以在此处举例说明：

比如假设空间H中有五个假设h1、h2、h3、h4、h5，因为xi是已知的，σi是随机变量，也可当作已知，对于不同的h我们就会输出一个不同的且确定的值f，假设输出分别是f1、f2、f3、f4、f5，且f3最大，所以下式的结果就是f3（注意：此时f3已经是一个具体的值了）

第二步：

这步的意思就是说对f(h)的上确界求关于σ的期望

现在对上图中黄色高亮部分进行解释：

此处分成两个问题进行解释

问题一：为什么当|H|=1时，公式12.39等于0？

当|H|=1，说明在假设空间中只有一个假设h，所以f(h)就一个，所以对f(h)求上确界就是f(h)本身，上述公式就可以转换为：

上式中pi=σi*h(xi)，P=σh

对于上面的式子标红部分，是如何推导而来，很多小伙伴们可能不理解，所以解释一下：其实很简单，大家只用记住一句话就可以，样本均值的期望就是总体的期望，我们这里就把pi当做是样本点。对于“样本均值的期望就是总体的期望”这句话，本人就不做过多的解释，直接把互联网上大佬的推导拿来，如下图所示【原文链接：样本均值的期望为什么等于总体的期望? - 知乎 (zhihu.com)】

问题二：为什么当|H|=2^m时，公式12.39等于1？

相较于问题一的证明推导过程，问题二的解释就想对来说简单很多

因为|H|=2^m，所以必然存在一个最优的假设h使得h(xi)=σi，对于这点看过《西瓜书》第12章的小伙伴应该很容易能够理解，所以公式12.39就可以写成如下形式：

因为σi=1或者-1，所以σi*σi*=1

综上所述，黄色高亮部分的内容得证