Rademacher复杂度

核方法(Kernel method)通常需要选取可函数及其超参数的取值。重采样(如： K-fold cross validation 和 Bootstrap)可以处理这个问题，但是通常很耗时。全局Rademacher复杂度和局部Rademacher复杂度是两个测量假设空间复杂度的量。Rademacher复杂度在多标签学习里已经有一些成果，感兴趣的读者可以自行查阅这方面的文献。

Rademacher 复杂度

它的官方定义为：$R_n(\mathcal{H})=\mathbb{E}{\sup }_{h\in \mathcal{H}}\frac{2}{n}{\sum }_{i=1}^n{\sigma }_{i}l(h(X_i,Y_i))$,

这就是所谓的Global Rademacher复杂度了， 它的经验版本为：

$\widehat{R_n}(\mathcal{H})={\mathbb{E}}_{\sigma }{\sup }_{h\in \mathcal{H}}\frac{2}{n}{\sum }_{i=1}^n{\sigma }_{i}l(h(X_i,Y_i))$.

以下是经典结果: 对于损失函数$l:X\times Y\to [0,1]$,任意的假设$h$，以下不等式以概率 $\ge 1-2e^{-x}$成立：

$L(h)\le L_n(h)+\widehat{R_n}(\mathcal{H})+3\sqrt{\frac{x}{2n}}$ .

而local Rademacher复杂度经典结果为：
令 H ^ r , a , x , n = { h ∣ h ∈ H , L ^ n 2 ≤ 1 α 2 ( 3 r + x 2 n ) } \hat{\mathcal{H}}_{r,a,x,n}=\{h|h\in \mathcal{H},\hat{L}^{2}_{n}\leq \frac{1}{\alpha^2}(3r+\sqrt{\frac{x}{2n}})\} H^r,a,x,n​={h∣h∈H,L^n2​≤α21​(3r+2nx​ ​)}, ${\hat{r}}_n$为子根函数

${\hat{\psi }}_n(r)={\sup }_{\alpha \in (0,1]}\alpha {\hat{R}}_n({\hat{\mathcal{H}}}_{r,a,x,n})+\sqrt{\frac{2x}{n}}$

的固定点，对于损失函数$l:X\times Y\to [0,1]$,任意的假设$h$，以下不等式以概率 $\ge 1-3e^{-x}$成立：

$L(h)\le {\min }_{K>1}[\frac{K}{K-1}{\hat{L}}_n(h)+K{\hat{r}}_n]+2\sqrt{\frac{x}{2n}}$ .

估算Example

Example 1
H = { h ∣ h ( X ) = &lt; W , ϕ ( X ) &gt; , ∣ ∣ W ∣ ∣ ≤ H } \mathcal{H}=\{h| h(X)=&lt;W,\phi(X)&gt;,||W||\leq H\} H={h∣h(X)=<W,ϕ(X)>,∣∣W∣∣≤H},则
一方面，
$\widehat{R_n}(\mathcal{H})\le \frac{H}{n}\sqrt{{\sum }_{i=1}^n{\lambda }_i}=\frac{H}{n}\sqrt{{\sum }_{i=1}^n{Q}_{i,i}}$;
另一方面，
$\widehat{R_n}(\mathcal{H})\ge \frac{H}{\sqrt{2}n}\sqrt{{\sum }_{i=1}^n{\lambda }_i}=\frac{H}{\sqrt{2}n}\sqrt{{\sum }_{i=1}^n{Q}_{i,i}}$.

而且，当 $||\varphi (X)||\le 1$时, 以下不等式以概率$\ge 1-2e^{-x}$成立：

$L_H(h)\le L_{T,n}(h)+\frac{H}{n}\sqrt{{\sum }_{i=1}^n{\lambda }_i}+3\sqrt{\frac{x}{2n}}$ .

Example 2
H = { h ∣ h ( X ) = &lt; W , ϕ ( X ) &gt; , ∣ ∣ W ∣ ∣ ≤ 2 H , ∣ ∣ Φ W ∣ ∣ 2 ≤ c 2 } \mathcal{H}=\{h| h(X)=&lt;W,\phi(X)&gt;,||W||\leq 2H, ||\Phi W||^2\leq c_{2}\} H={h∣h(X)=<W,ϕ(X)>,∣∣W∣∣≤2H,∣∣ΦW∣∣2≤c2​},则
一方面，
$\widehat{R_n}(\mathcal{H})\le 2H\sqrt{{\sum }_{i=1}^n\min [\frac{c_2}{4},{\lambda }_i]}$,
另一方面，
$\widehat{R_n}(\mathcal{H})\ge c_{3}H\sqrt{{\sum }_{i=1}^n\min [\frac{c_2}{4},{\lambda }_i]}$.