评估深度学习的模型的性能依旧可以用偏差和方差来衡量。它们反映了模型在预测过程中与理想情况的偏离程度,以及模型对数据扰动的敏感性。我们简单回顾一下什么是模型的偏差和方差?
一、深度学习模型的偏差和方差
- 偏差:衡量模型预测结果的期望值与真实值之间的差异;
- 方差:度量模型预测结果的变动性或离散程度;
如果模型在训练集上都表现得很差,就说模型高偏差(High Bias),此时模型欠拟合。
如果模型在验证集上表现很差在测试集上表现很好,就说模型高方差(High Variance),此时模型过拟合。
第一种情况 | 第二种情况 | 第三种情况 | 第四种情况 | |
训练集误差 | 1% | <