深度学习笔记: 最详尽解释欠拟合（高偏差）和过拟合（高方差）

欢迎收藏Star我的Machine Learning Blog:https://github.com/purepisces/Wenqing-Machine_Learning_Blog。如果收藏star, 有问题可以随时与我交流, 谢谢大家！

欠拟合（高偏差）和过拟合（高方差）

在机器学习和统计建模中，平衡偏差和方差对于创建能够准确预测并能很好泛化到未见数据的模型至关重要。让我们深入探讨这些基本概念及其与欠拟合和过拟合的关系。

模型预测不可避免地会涉及一些误差。总预测误差可以分解为三个部分：偏差、方差和不可约误差。公式为：

$$\text{Error}={\text{Bias}}^2+\text{Variance}+\text{Irreducible Error}$$

不可约误差，顾名思义，是无法减少的。它源于数据中固有的噪声。然而，偏差和方差是我们可以控制和管理的方面。

偏差

偏差是指模型为了简化学习过程而做出的假设。模型无法捕捉数据中的真实关系会导致偏差。

例如，假设数据是线性的，而实际上是二次的，就会引入显著的偏差。高偏差模型做了很多假设，过度简化了模型，通常导致欠拟合。

高偏差可能导致模型表现不佳，因为它们无法捕捉数据的复杂性。

方差

方差衡量模型对训练数据集中的微小波动的敏感度。高方差模型（例如在添加约束之前的决策树）过于复杂，捕捉到了噪声和信号，通常导致过拟合。高方差模型过于敏感，会捕捉到数据中的任何微小差异，因此在处理小数据集时，方差是一个问题。

高方差可能导致模型在训练数据上表现异常出色，但在新数据上却无法泛化。

添加约束之前：约束是施加在决策树上的限制或规则，以防止其变得过于复杂。常见的约束包括限制树的最大深度、要求每个叶节点的最小样本数以及限制每次分裂时考虑的特征数量。

信号：数据中一致且有意义的真实模式。

噪声：数据中不代表基础模式的随机变化，在不同数据集中不一致。

偏差-方差权衡

偏差和方差之间存在权衡。过于简单的模型（高偏差）可能欠拟合，未能捕捉重要模式。相反，过于复杂的模型（高方差）可能过拟合，捕捉到噪声而不是基础模式。

在偏差和方差之间找到正确的平衡，对于开发在训练和未见数据上都表现良好的稳健模型至关重要。

训练误差与测试误差

如果我们比较线性线和曲线在训练集上的平方和：

• 在训练集上，曲线由于能够适应数据的细微差异而胜出。

如果我们比较测试集上的平方和：

• 在线性线上，在测试集上表现更好，因为它在新数据上泛化得更好。

曲线的偏差低，因为它灵活且能够适应重量和高度之间关系的曲线。然而，它的可变性也很高，导致不同数据集的平方和差异很大。这种可变性使得很难预测曲线在未来数据集上的表现；它可能有时表现好，有时表现差。

相比之下，直线的偏差相对较高，因为它不能捕捉重量和高度之间关系的曲线。然而，它的方差相对较低，因为不同数据集的平方和非常相似。因此，直线可能并不总是提供很好的预测，但会始终提供一致的预测。

平衡偏差和方差的方法

三种常用的方法来找到正确的平衡：

• 正则化：为模型的复杂度增加惩罚。
• 提升：结合弱学习器创建强学习器。
• 袋装：结合多个模型的预测以减少方差。

欠拟合（高偏差）

定义：

欠拟合发生在模型过于简单，无法捕捉数据的基础结构时。这样的模型具有高偏差，对数据做了强假设，未能捕捉特征与目标变量之间的重要关系。

症状：

• 在训练数据上表现不佳。
• 模型在训练和验证数据集上的误差率相似，但误差率高。

原因：

• 对非线性数据使用线性模型。
• 特征不足。
• 过度激进的正则化。

解决方案：

• 增加模型复杂度。
• 添加更多特征或对现有特征进行工程处理。
• 减少正则化参数。

减少正则化参数可以帮助解决欠拟合（高偏差）问题，因为正则化技术（如Lasso（L1正则化）和Ridge（L2正则化））会对模型的复杂度增加惩罚。这些惩罚旨在通过阻止模型变得过于复杂来防止过拟合。然而，如果正则化参数过于激进（即惩罚过强），可能会过度简化模型，导致欠拟合。

过拟合（高方差）

定义：

过拟合发生在模型过于复杂，开始捕捉数据中的基础结构以及训练数据集中的噪声或随机波动时。这样的模型具有高方差，在训练数据上表现异常出色，但在新数据上表现不佳。

症状：

• 在训练数据上表现异常出色。
• 在验证数据集上测试时性能显著下降。

原因：

• 对简单数据使用高度复杂的模型。
• 训练数据点太少。
• 正则化不足。

解决方案：

• 简化模型。
• 增加训练数据量。
• 应用正则化技术。

解决欠拟合和过拟合的重要性

平衡偏差和方差是创建准确且可泛化模型的关键。偏差过高的模型将错过重要的模式，而方差过高的模型则会对波动过于敏感，可能捕捉到噪声而非信号。

最终目标是开发出能够达到正确平衡的模型，确保它们既准确又能够泛化到新数据。

参考资料:

• 观看视频1 在YouTube上
• 观看视频2 在YouTube上