偏差:描述的是预测值(估计值)的期望与真实值之间的差距。偏差越大,越偏离真实数据。
方差:描述的是预测值的变化范围,离散程度,也就是离其期望值的距离。方差越大,数据的分布越分散,如下图右列所示。
在深度学习中,我们可以同时减小Bias和Variance,构建最佳神经网络模型。
一般来说,Train set error体现了是否出现bias,Dev set error体现了是否出现variance
如图所示,high bias对应着欠拟合,而high variance对应着过拟合。
过拟合即在训练集上表现良好,但在验证集上表现不佳。数据分布离散程度较大,即方差大。
欠拟合即使在训练集和验证集表现都不佳,数据偏离真实数据。
如何解决NN中出现的偏差和方差
也可能会出现 降低了偏差 此时方差升高
或者 降低了方差 升高了偏差的情况 这种时候应该通过训练大量的数据以及构建bigger network来解决