深度学习中偏差和方差

本文部分内容摘自https://blog.csdn.net/wuzqChom/article/details/75091612

从上面可以看出来均方误差由方差和偏差构成，那偏差和方差的高低又代表什么呢？

偏差与方差在训练结果中的表现

  如上图所示，高偏差代表训练结果欠拟合。而高方差代表训练结果为过拟合。偏差描述的是算法的预测的平均值和真实值的关系（可以想象成算法的拟合能力如何），而方差描述的是同一个算法在不同数据集上的预测值和所有数据集上的平均预测值之间的关系（可以想象成算法的稳定性如何）。
  通过上面我们可以看出偏差是针对训练集的，而方差是针对测试集的。

深度学习中的偏差和方差

  在神经网络中，很多时候我们无法像上面一样能够画出可视化的结果，所以我们需要根据训练结果来对偏差和方差进行估计。
  如果在一个猫狗识别训练集上，人类辨识误差大约为0%，训练结果如下所示：

	训练集误差	验证集/测试集误差
	1%	11%

在大多数情况下，我们可以认为此时发生了过拟合，因此是高方差。
  如果训练结果如下所示：

	训练集误差	验证集/测试集误差
	15%	16%

此时我们可以看出当前的模型无法拟合训练集，因为训练误差远大于人类识别的误差，但在测试集上的误差和训练集相差并不大。所以此时发生了欠拟合，因此是高偏差。
  如果训练结果如下所示：

	训练集误差	验证集/测试集误差
	15%	30%

很明显，当前模型是高方差，高偏差。高方差和高偏差的示意图如下：