多项式回归: 训练误差和测试误差随着多项式的次数增大如何变化｜偏差-方差权衡

多项式回归中的训练误差和测试误差

就像许多的球类运动，我们有练球的时候, 也有打比赛的时候。一味的训练，就算把教练的要求全都做到，一上场就完蛋。但是常年混迹球场的老油子，看着动作不咋地，但是就是能赢。

对于多项式回归模型，当我们改变多项式的次数（degree）时，训练误差（training error）和测试误差（test error）通常会表现出以下的变化：

1. 训练误差（Training Error）

   • 当多项式的次数增加时，模型变得更加复杂，因此通常能更好地拟合训练数据。
   • 通常，随着多项式次数的增加，训练误差会减小，甚至在非常高的多项式次数下趋近于零，因为模型能够几乎完美地拟合训练数据。

2. 测试误差（Test Error）

   • 当多项式的次数较低时，模型可能过于简单，无法捕捉到数据的真实关系（即模型欠拟合），因此测试误差较大。
   • 当多项式的次数适中时，模型能较好地概括未见过的数据，测试误差较小。
   • 当多项式的次数过高时，模型可能变得过于复杂，以至于开始学习训练数据中的噪声，导致在未见过的新数据上表现不佳（即模型过拟合），因此测试误差又开始增大。

这种现象可以通过一张常见的图形来展示，其中 x 轴表示多项式的次数（模型复杂度），y 轴表示误差。测试误差通常呈现一个“U”形的曲线，首先随着模型复杂度的增加而减小，然后在某一点达到最小值，之后又开始增加。而训练误差通常是单调递减的。

这个关系在机器学习中被称为偏差-方差权衡（Bias-Variance Tradeoff）。简单模型通常有高偏差（因为它们过于简单，不能捕捉数据的真实关系）和低方差（因为模型在不同数据集上的表现相对稳定）。复杂模型通常有低偏差（因为它们足够复杂，能较好地拟合数据）和高方差（因为模型在不同数据集上的表现可能波动很大）。在模型选择时，我们通常寻找一个偏差和方差之间的最佳平衡点，以便在未见过的数据上表现最好。

偏差-方差权衡

在机器学习中，偏差-方差权衡（Bias-Variance Tradeoff）是一个非常重要的概念。它描述了模型泛化误差的两个主要来源：偏差（Bias）和方差（Variance）。

偏差（Bias）

偏差度量了模型的预测值与真实值之间的差异，或者说模型的精度。一个高偏差的模型通常过于简单，无法捕捉到数据的真实关系，即模型欠拟合。

• 高偏差可能导致：
  • 模型可能太简单，无法捕捉数据中的关键关系。
  • 在训练和测试数据上都表现不好。

方差（Variance）

方差度量了模型预测值的变化或分散程度，即模型的稳定性。一个高方差的模型通常过于复杂，过多地拟合训练数据中的噪声，即模型过拟合。

• 高方差可能导致：
  • 模型可能过于复杂，学习到了训练数据中的噪声。
  • 在训练数据上表现很好，但在未见过的数据上表现不好。

偏差-方差分解

模型的预测误差（预期误差）可以被分解为三个部分：偏差的平方、方差和噪声。数学形式为：

$$\text{Total Error}={\text{Bias}}^2+\text{Variance}+\text{Irreducible Error}$$

其中，

• ${\text{Bias}}^2$：偏差平方，表示模型的预测平均值与真实值之间的差异。
• $\text{Variance}$：方差，表示模型预测值的变动范围。
• $\text{Irreducible Error}$：不可减少误差，通常由数据本身的噪声引起，是无法通过改进模型来消除的。

偏差和方差的权衡

• 低偏差、高方差（Low Bias, High Variance）

  • 通常对应着复杂的模型，例如高阶多项式模型。
  • 模型在训练数据上表现良好，但可能在测试数据上表现较差。

• 高偏差、低方差（High Bias, Low Variance）

  • 通常对应着简单的模型，例如线性模型。
  • 模型在训练数据上表现不佳，但在不同的测试数据集上表现稳定。

理想的情况是找到一个偏差和方差都较低的模型，但实际上两者通常是互斥的：降低偏差会增加方差，降低方差会增加偏差。因此，在实际的模型设计和训练过程中，往往需要在偏差和方差之间进行权衡，找到两者之间的一个平衡点，以获得具有较好泛化能力的模型。