1. 什么是过拟合和欠拟合
1.1 过拟合
训练误差很小,但测试误差很大,即模型泛化性能差。
1.2 欠拟合
训练误差很大,模型未能拟合好数据。
2. 产生过拟合和欠拟合的原因
从方差-偏差trade-off角度分析,把泛化误差分解为偏差和方差,即模型的期望预测与真实结果的偏离程度(模型本身的精准度)和训练集的变动所导致的学习性能的变化(模型的稳定性)。从泛化误差Eout (MSE error)出发:
令
训练误差很小,但测试误差很大,即模型泛化性能差。
训练误差很大,模型未能拟合好数据。
从方差-偏差trade-off角度分析,把泛化误差分解为偏差和方差,即模型的期望预测与真实结果的偏离程度(模型本身的精准度)和训练集的变动所导致的学习性能的变化(模型的稳定性)。从泛化误差Eout (MSE error)出发:
令