【Python机器学习】回归——权衡偏差与方差

任何时候，一旦发现模型和测量值之间存在差异，就说出现了误差。

当考虑模型中的“噪声”或者说误差时，必须考虑其来源。我们可能对复杂的过程进行简化，这将导致在模型和测量值之间出现“噪声”或误差，若无法理解数据的真实生成过程，也会导致差异的发生。另外，测量过程本身也可能产生“噪声”或者问题。

在回归模型中，如果降低核的大小，那么训练误差将变小。

一般认为，误差由三个部分组成：偏差、测量误差和随机噪声。

我们可以引入三个越来越小的核来不断增大模型的方差；缩减法可以将一些系数缩减成很小的值或直接缩减为0，这是一个增大模型偏差的例子。通过把一些特征的回归系数缩减到0，同时也就减少了模型的复杂度。

方差是可以度量的。如果从鲍鱼数据集中取一个随机样本集并用线性模型拟合，将会得到一组回归系数。同理，再取出另一组随机样本集并拟合，将会得到另一组回归系数。这些系数间的差异大小也就是模型方差大小的反映。上述偏差与方差折中的概念在机器学习十分流行并且反复出现。