偏差、方差、欠拟合、过拟合

【注】：图中部分图片来源于吴恩达老师的深度学习课程。

一、理解偏差(bias)和方差(variance)

  任何一个机器学习/深度学习的研究人员都应该理解bias和variance。
   假设我们有一个只含有x1和x2两维特征的数据集，如下图:
  （1）如果我们给这个数据集拟合一条直线，得到一个简单的逻辑回归拟合，但是并没有很好的拟合数据，这就是 high bias的情况，称之为欠拟合(underfitting)。
  （2）如果给这个数据集拟合一个非常复杂的分类器，如下图最右所示，尽管看起来对于这个数据集拟合的很好，但这并不是一种好的方式，因为分类器的方差过高（也可以理解为那条蓝线为了拟合部分数据，过于复杂），此时称之为过拟合。
  （3）我们期望得到的是如下图中间所示复杂程度适中，数据拟合适度的分类器。

二、通过Train set error和Valid set error理解偏差和方差

  在多维特征的数据集中，我们无法做到如上图所示的可视化方式来理解bias和variance。但是在训练的过程中，我们会通过训练集误差和验证集误差两个关键数据来理解bias和variance。
  以对猫分类的例子。假设我们用人眼去分辨的错误率是接近0%的，也就是最优误差/贝叶斯误差(optimal error/Bayes error)是0%，在这样的前提下：
  如果train set error 为1%，而 valid set error为11%，此时训练集上误差较好，而验证集上很差，可能是过度拟合了数据，称之为"high variance"。
  如果train set error 为15%，而 valid set error为16%，此时训练集的误差与最优误差相差较大，也就是训练数据的拟合度不够，属于“欠拟合”，也就是'high bias'的情况，同时验证集的误差和训练集的误差接近，表明方差没大问题。
  如果train set error 为15%，而 valid set error为30%，此时训练集上的效果就很差，没能拟合数据，属于'high bias'，而验证集相对于训练集的误差差别也很大，因此方差也很高，属于'high bias & high variance'。
  如果train set error 为0.5%，而 valid set error为1%，哈哈，这种结果是极好的，‘low bias & low variance’。

三、训练网络的基础

训练完你的网络后，
  1、首先通过观察验证集的表现来看是否存在‘high bias’的情况，如果存在的话，则尝试着
  （1）使用更大更深的网络；
  （2）花费更多的时间去训练；
  （3）优化你的算法。
  总之，首先尝试不同的方法，使得模型能够拟合你的数据。
   2、拟合数据后，再去检查variance是否存在问题，因此我们需要去评估验证集的性能。如果存在high variance的情况，
  （1）最好的方式是： getting more data
  （2）使用正则化（regularization）

  更得到更多的数据时极好的，但是获取更多的合适的数好据是难度较大的，因此遇到过拟合情况我们一般先考虑使用正则化。
  总之，就是通过不断地尝试（不同的模型、更多的数据……）去得到一个low bias & low variance的模型。