深度学习之Bias/Variance偏差、方差

偏差（Bias）和方差（Variance）

是机器学习领域非常重要的两个概念和需要解决的问题。在传统的机器学习算法中，Bias和Variance是对立的，分别对应着欠拟合和过拟合，我们常常需要在Bias和Variance之间进行权衡。而在深度学习中，我们可以同时减小Bias和Variance，构建最佳神经网络模型。

偏差（Bias）	欠拟合
方差（Variance）	过拟合

 

猫识别问题中的方差和偏差

 

bias和variance

Train set error	1%	15%	15%	0.5%
Dev set error	11%	16%	30%	1%
	过拟合high variance	欠拟合high bias	既存在high bias也存在high variance	low bias和low variance最好情况