机器学习---模型选择---偏差和方差

模型选择-偏差和方差

• 模型选择
• 拟合能力强的模型一般复杂度会比较高，容易过拟合。
• 如果限制模型复杂度，降低拟合能力，可能会欠拟合。
• 偏差与方差分解
• 期望错误可以分解为

以回归模型为例，假设样本的真实分布为𝑝𝑟(𝒙, 𝑦)，并采用平方损失函数，模型𝑓(𝒙)的期望错误为

ℛ(𝑓) = 𝔼(𝒙,𝑦)∼𝑝𝑟(𝒙,𝑦)[(𝑦 − 𝑓(𝒙))2].

最优模型为

𝑓∗(𝒙) = 𝔼𝑦∼𝑝𝑟(𝑦|𝒙)[𝑦]

其中 𝑝𝑟(𝑦|𝒙) 为样本的真实条件分布，𝑓∗(𝒙) 为使用平方损失作为优化目标的最优模型，其损失为

𝜖 = 𝔼(𝒙,𝑦)∼𝑝𝑟(𝒙,𝑦)[(𝑦 − 𝑓∗(𝒙))2].

损失𝜖通常是由于样本分布以及噪声引起的，无法通过优化模型来减少

  期望错误可以理解为

ℛ(𝑓) = 𝔼(𝒙,𝑦)∼𝑝𝑟(𝒙,𝑦)[(𝑦 − 𝑓∗(𝒙) + 𝑓∗(𝒙) − 𝑓(𝒙))2]

=𝔼𝒙∼𝑝𝑟(𝒙)[(𝑓(𝒙) − 𝑓∗(𝒙))2]+ 𝔼(𝒙,𝑦)∼𝑝𝑟(𝒙,𝑦)[(𝑦 − 𝑓∗(𝒙))2]+ 2𝔼𝒙𝔼𝑦[𝑦 − 𝑓∗(𝒙)]

其中 ( 𝔼𝒙𝔼𝑦[𝑦 − 𝑓∗(𝒙)] = 0)

则                  ℛ(𝑓)= 𝔼𝒙∼𝑝𝑟(𝒙)[(𝑓(𝒙) − 𝑓∗(𝒙))2]+ 𝔼(𝒙,𝑦)∼𝑝𝑟(𝒙,𝑦)[(𝑦 − 𝑓∗(𝒙))2]

= 𝔼𝒙∼𝑝𝑟(𝒙)[(𝑓(𝒙) − 𝑓∗(𝒙))2]+ 𝜖

𝔼𝒙∼𝑝𝑟(𝒙)[(𝑓(𝒙) − 𝑓∗(𝒙))2]是当前模型和最优模型之间的差距，是机器学习算法可以优化的真实目标。

标．在实际训练一个模型 𝑓(𝒙) 时，训练集 𝒟 是从真实分布 𝑝𝑟(𝒙, 𝑦) 上独立同分采样出来的有限样本集合．不同的训练集会得到不同的模型．令 𝑓𝒟(𝒙) 表示在训练集𝒟 上学习到的模型，一个机器学习算法（包括模型以及优化算法）的能力可以用不同训练集上的模型的平均性能来评价．

对于单个样本 𝒙，不同训练集 𝒟 得到模型 𝑓𝒟(𝒙) 和最优模型 𝑓∗(𝒙) 的期望差距为

则

ℛ(𝑓) = 𝔼𝒙∼𝑝𝑟(𝒙)[𝔼𝒟[(𝑓𝒟(𝒙) − 𝑓∗(𝒙))2]] + 𝜖,

= (bias)2 + variance + 𝜖

其中

(bias)2 = 𝔼𝒙[(𝔼𝒟[𝑓𝒟(𝒙)] − 𝑓∗(𝒙))2],

variance = 𝔼𝒙[𝔼𝒟[(𝑓𝒟(𝒙) − 𝔼𝒟[𝑓𝒟(𝒙)])2]]

模型选择：偏差与方差

Q:模型方差和噪声曲线的交点与偏差的最低点为什么不是同一坐标？

AN：

在模型复杂度和性能之间的折中中，我们通常关注的是偏差-方差权衡。这个折中体现在模型方差和噪声曲线的交点和偏差的最低点并不一定出现在同一模型复杂度上。这是因为偏差和方差的总体性质导致了这种不同。

  1. 模型方差和噪声曲线的交点：

- **模型方差**：模型方差衡量的是模型在不同的训练数据集上预测的变化程度。高方差可能表示模型对训练数据集中的噪声过度敏感，导致在不同数据集上的性能差异较大。

- **噪声曲线**：噪声曲线表示了一个理想模型在真实数据上的性能，即在没有噪声的理想情况下，模型的性能。这条曲线是固定的，因为噪声是由数据的本质所决定的。

当模型方差等于噪声时，模型已经达到了其性能的上限，不再过拟合或欠拟合。在这一点上，我们认为模型已经足够复杂，能够很好地适应数据的噪声。

  2. 偏差的最低点：

- **偏差**：偏差衡量的是模型的预测值与真实值之间的差异。它表示了模型对问题的简单性的偏好，即模型对数据的过度简化或过度复杂化。

在偏差的最低点，模型足够复杂以捕捉数据的关键特征，但仍然足够简单，不至于过度拟合。这是一个权衡，不同的问题可能需要不同的模型复杂度。

  关系：

- 通常情况下，模型方差和噪声曲线的交点标志着模型在训练集和测试集上的性能都较好，但这并不一定是偏差的最低点。在偏差的最低点，模型更倾向于找到一个适当的复杂度，即在保持对训练数据的适应性的同时，不过分复杂，从而在测试数据上表现良好。

- 偏差-方差权衡意味着我们需要在模型过于简单（高偏差）和模型过于复杂（高方差）之间找到一种平衡。这种平衡不一定会与模型方差和噪声曲线的交点重合。