集成学习笔记3--偏差与方差理论

4. 优化基础模型

3.1 训练均方误差和测试均方误差

在回归中，我们最常使用的评价指标为均方误差（MSE）：$MSE=\frac{1}{N}{\sum }_{i=1}^N(y_i-\hat{f}(x_i){)}^2$。

左：通过不同函数f拟合产生的数据。
右：灰色曲线->训练均方误差，红色曲线->测试均方误差。方块分别对应左图通过不同模型模拟数据的均方误差。

可以看到：当我们的模型的训练均方误差达到很小时，测试均方误差反而很大，但是我们寻找的最优的模型是测试均方误差达到最小时对应的模型。正如上右图所示：模型在训练误差很小，但是测试均方误差很大时，我们称这种情况叫模型的过拟合。

3.2 偏差-方差的均衡

从上图的测试均方误差曲线可以看到：测试均方误差曲线呈现U型曲线，这表明了在测试误差曲线中有两种力量在互相博弈。
$$E(y_0-\hat{f}(x_0){)}^2=var(\hat{f}(x_0))+[bias(\hat{f}(x_0)){]}^2+var(ϵ)$$
也就是说，测试均方误差的期望值= f ^ ( x 0 ) \hat f(x_0) f^​(x0<