cs229 学习笔记四 学习理论

偏差/方差 权衡

当我们说道线性回归时，我们会考虑是使用简单点的模型$y=\theta_0 + \theta_1 x$还是使用更加复杂的模型$y= \theta_0 + \theta_1x + \theta_2 x^2 +\cdots + \theta_5 x^5$来对数据进行拟合。我们看下面的例子：

使用5阶多项式拟合得到的模型并不是一个优秀的模型。尽管对于训练集中的样本它能很好的根据特征$x$预测$y$，但是我们不能期望它能很好的对没有在训练样本中的数据进行很好的预测。也就是说，从训练样本中得到的知识不能很好的泛化到非训练样本中去。一个假设函数的泛化误差指的是非训练集的样本集的期望误差。
上图中最左边和最右边的模型的泛化误差是比较大的，但是这两者出现的问题却有很大的差别。如果$y$和$x$的关系是非线性的，如果我们使用大量的训练样本来训练一个线性模型，这个线性模型也不能够精确的获取这些数据的结构。通俗的，我们定义一个模型的偏差为：模型的期望泛化误差，哪怕我们使用无穷大的训练集来训练模型。对于上面的问题，线性模型具有很大的偏差，以及欠拟合。
除了偏差，这里第二个量用于衡量泛化误差，也就是模型拟合过程的方差。如上图的最右 的拟合图，我们使用5阶多项式进行训练。通常训练的模型与一个很小的训练集恰好完全拟合是存在很大风险的，因为训练的模型不能反映更广泛的情况。
通常，在偏差与方差之间需要将两者进行权衡。如果我们的模型太简单了，只有十分少的参数，训练得到的模型就可能会有一个很大的偏差（但是方差很小）；但是如果这个模型很复杂，有很多参数，那么训练好的模型方差就会很大。在上面的问题中，采用二次函数进行拟合得到的结果就要比采用一次函数和五阶函数的效果要好。