统计学习理论简介（二）

统计学习理论作为机器学习的基础，本文主要对统计学习理论进行简要介绍

Excess Risk Decomposition

上篇文章说到，对于hypothesis space $\mathcal{F}$，$$f_{\mathcal{F}}=argmi{n}_{f\in \mathcal{F}}{E}_{(x,y)\sim P_{\mathcal{X}\times \mathcal{Y}}}[l(f(x),y)]$$$${\hat{f}}_n=argmi{n}_{f\in \mathcal{F}}\frac{1}{n}{\Sigma }_{i=1}^{n}l(f(x_i),y_i)$$

$f_{\mathcal{F}}$和$f^{\ast }$的risk的差距叫做approximation error，${\hat{f}}_n$和$f_{\mathcal{F}}$的risk的差距叫做estimation error。${\hat{f}}_n$与$f^{\ast }$的risk差距叫做excess risk，可以被分解为approximation error与estimation error的和。

但是实际上，我们一定能找到${\hat{f}}_n$吗，我们的优化方法并不一定能找到${\hat{f}}_n$，所以我们往往得到的是次优解${\tilde{f}}_n$，${\tilde{f}}_n$与${\hat{f}}_n$的risk的差距叫做optimization error。

参考资料：NYU 《Deep Learning》2020