Rademacher复杂度极简例子

（警告：本人为初学者，不保证本贴的正确性. 如有异议请留言, 感激不尽!）

动机

随机噪音对模型的影响.
所谓随机噪音，就是把正例、负例进行随机的改变.

例子

图1. 样本与模型示意图
如图1所示:

1. $\mathcal{X}=[0,1]$.
2. Y = { − 1 , + 1 } \mathcal{Y} = \{-1, +1\} Y={−1,+1} 对应于两个决策类, 分别用三角型(负例)和圆圈(正例)标注.
3. 3个数据点: S = { 0.05 , 0.35 , 0.6 } S = \{0.05, 0.35, 0.6\} S={0.05,0.35,0.6}.
4. H = { ( d , s g n ) ∣ d ∈ [ 0 , 1 ] , s g n ∈ { ′ > ′ , ′ < ′ } } \mathcal{H} = \{(d, sgn) | d \in [0, 1], sgn \in \{'>' , '<'\}\} H={(d,sgn)∣d∈[0,1],sgn∈{′>′,′<′}}. 当$sgn{=}^{\prime }{>}^{\prime }$时, 表示$x<d$时分类为$-1$, 否则分类为$+1$. 当$sgn{=}^{\prime }{<}^{\prime }$时, 表示$x<d$时分类为$+1$, 否则分类为$-1$.
5. 根据模型$\mathcal{H}$, 给$S$中数据打标签方式共6种:
   $h=(0.02{,}^{\prime }{<}^{\prime })$: $(-1,-1,-1)$, $h=(0.02{,}^{\prime }{>}^{\prime })$: $(+1,+1,+1)$,
   $h=(0.2{,}^{\prime }{<}^{\prime })$: $(+1,-1,-1)$, $h=(0.2{,}^{\prime }{>}^{\prime })$: $(-1,+1,+1)$,
   $h=(0.4{,}^{\prime }{<}^{\prime })$: $(+1,+1,-1)$, $h=(0.4{,}^{\prime }{>}^{\prime })$: $(-1,-1,+1)$.
   令这6种方式的集合为$Y$.
   当分割点大于$0.6$时, 等价于分割点小于$0.05$, 即表示全$-1$或全$+1$.
6. 对于该数据集, 假设(分类器)$h_1=(0.01{,}^{\prime }{<}^{\prime })$与$h_2=(0.02{,}^{\prime }{<}^{\prime })$等价. 等价的分类器仅有6个. 它们获得了上述6种结果.
7. 使用式(该式与[2]比较一致, 但与[1]不同. 这也是我纠结的地方.)
   $$R(Y)={\mathbb{E}}_{\sigma }\left[\underset{y\in Y}{\sup }\left(\frac{1}{m}\sum _{i=1}^m{\sigma }_i{y}_i\right)\right].$$
8. $\sigma =({\sigma }_1,{\sigma }_2,{\sigma }_3)$长度为$m=3$, 有8种取值, 从$(-1,-1,-1)$至$(+1,+1,+1)$假设其概率相同, 均为$1/8$.
9. 当$\sigma =(-1,-1,-1)$时, $y=(-1,-1,-1)$可使方括号中间的值取最大值1.
10. 当$\sigma =(-1,+1,-1)$时, 由于$(-1,+1,-1)\notin Y$, 即无法找到与随机噪音$\sigma$完全匹配的分类方式, $y=(-1,-1,-1)$ 或$(-1,+1,+1)$或$(+1,+1,-1)$均可使方括号中间的值取最大值1/3.
11. 8种$\sigma$取值, 有6种与$Y$中元素匹配, 匹配时最大值为1, 不匹配时最大值为1/3, 因此Rademacher复杂度为(6 + 2/3)/8 = 20/24 = 5/6.

分析

1. 该例说明了$Y$对随机噪音的适应性, 如果存在$y=\sigma$, 则相应项为1.
2. $Y$是由$\mathcal{H}$得到的，所以说明了$\mathcal{H}$的适应性. 这点比文献[3]更进一步.
3. 与数据的具体标签无关.
4. 没弄清楚书上[1]的Loss function是怎么用的.

进一步说明

1. 由于$Y$可以是由$\mathcal{H}$中不同元素产生的, 所以可重写式子为
   $$R_S(\mathcal{H})={\mathbb{E}}_{\sigma }\left[\underset{h\in \mathcal{H}}{\sup }\left(\frac{1}{m}\sum _{i=1}^m{\sigma }_{i}h(x_i)\right)\right].$$
2. 本例中$R_S(\mathcal{H})$与具体的数据集$S$无关，而仅与数据集大小$m$有关，所以$R_S(\mathcal{H})=R_m(\mathcal{H})$, 即经验Rademacher复杂度与Rademacher复杂度一致. 它们不一致的例子我还没想好.

参考文献
[1]: Foundations of Machine Learning.
[2]: 周志华: 机器学习.
[3]: https://blog.csdn.net/pearl30/article/details/74905593