机器学习笔记——误差哪来的？

一、回顾案例

• 上一篇博文中我们通过宝可梦进化的案例初步了解了回归分析的过程。
• 从模型选择->损失函数构建->梯度下降得到最优参数->模型变量高次化复杂模型->多输入变量复杂模型。
• 无论是通过高次化变量还是增加考虑因素，复杂化后的模型确实在训练数据集中表现更加优异，但规律并不同等适合于测试数据集。我们也因此发现了过拟合(Overfitting)的现象。
• 那我们就像要知道误差到底来源于哪里？只有我们知道了误差来源才能够对症下药，解决模型选择与参数最优化的相关难题。

二、误差所在

1.误差来源

• 先给出结论，在该案例中误差来源于bias(偏差)与variance(方差)。
• 设$\hat{f}$为y与x之间的真实函数关系，$f^{\ast }$是我们选定模型经过梯度下降得到的函数关系，而$\bar{f}$表示相同模型不同训练集求出的函数关系的期望值。
• 一个固定的模型不同训练集可能会产生多个$f^{\ast }$，但一定对应一个固定的$\bar{f}$。我们可以把 f ˉ \bar{f}