偏差(Bias)和方差(Variance)
是机器学习领域非常重要的两个概念和需要解决的问题。在传统的机器学习算法中,Bias和Variance是对立的,分别对应着欠拟合和过拟合,我们常常需要在Bias和Variance之间进行权衡。而在深度学习中,我们可以同时减小Bias和Variance,构建最佳神经网络模型。
偏差(Bias) | 欠拟合 |
方差(Variance) | 过拟合 |
猫识别问题中的方差和偏差
![]() | ||||||
Train set error | 1% | 15% | 15% | 0.5% | ||
Dev set error | 11% | 16% | 30% | 1% | ||
过拟合high variance | 欠拟合high bias | 既存在high bias也存在high variance | low bias和low variance最好情况 |