【机器学习】泛化误差上界

泛化能力：模型对未知数据的预测能力
泛化误差：模型是$\hat{f}$，该模型对于未知数据预测的误差即为泛化误差：
$$\begin{array}{rl}{R}_{\exp }(\hat{f})& =E_P[L(Y,\hat{f}(X))]\\ & ={\int }_{\mathcal{X}\times \mathcal{Y}}L(y,\hat{f}(x))P(x,y)\mathrm{d}x\mathrm{d}y\end{array}$$
实际上：泛化误差等价于期望风险：$E_P[L(Y,\hat{f}(X))]$

其中：
期望风险$R(f)$与经验风险$\hat{R}(f)$的区别：期望风险的对象是未知的，待预测的数据；而经验风险指的是人为设计好的测试数据，数目为N，计算其平均损失误差。
$$\begin{array}{c}R(f)=E[L(Y,f(X))]\\ \\ \hat{R}(f)=\frac{1}{N}{\sum }_{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)\end{array}$$

泛化误差上界体现在泛化误差其满足以下一个不等式：
$$\begin{array}{c}R(f)⩽\hat{R}(f)+\epsilon (d,N,\delta )\\ \\ \epsilon (d,N,\delta )=\sqrt{\frac{1}{2N}\left(\log d+\log \frac{1}{\delta }\right)}\end{array}$$
其中$d$表示为函数个数，假设空间是由有限个函数组成的，表示为： F = { f 1 , f 2 , ⋯   , f d } \mathcal{F}=\left\{f_{1}, f_{2}, \cdots, f_{d}\right\} F={f1​,f2​,⋯,fd​}
证明过程可以参考Hoeffding不等式。

根据泛化误差上界可以得出几个比较重要的结论：
1、泛化误差=期望风险，泛化误差上限越小，说明期望风险越小，其预期值越加靠近真实值，体现其泛化能力越强。
2、当样本容量N增大时，泛化误差上界趋向于0，泛化能力越好。
3、当假设空间容量（模型的复杂性）越大，模型越难学，$d$越大，泛化误差上界越大，泛化能力越差。

参考：李航 统计学习方法第二版