-
误差(Error):
- 误差是预测值与真实值之间的差异,可以分为偏差和方差两部分。
-
偏差(Bias):
- 偏差是预测值的期望与真实值之间的差异,反映模型的系统误差。
- 偏差高时,模型过于简单,不能很好地捕捉数据中的模式,导致欠拟合。
-
方差(Variance):
- 方差是预测值的变化程度,反映模型对训练数据的敏感性。
- 方差高时,模型过于复杂,过度拟合训练数据,导致泛化能力差。
-
关系:
- 总误差(期望误差)可以分解为偏差的平方、方差和不可约误差(噪声)之和。
- 偏差和方差之间通常存在权衡(bias-variance tradeoff):降低偏差往往会增加方差,反之亦然。
总结:
- 偏差衡量模型的系统误差,方差衡量模型对数据的敏感性。
- 总误差包含偏差的平方、方差和不可约误差。
- 理想情况下,需要在偏差和方差之间找到平衡,以最小化总误差。