什么是欠拟合现象_7.1 过拟合的问题 The Problem of Overfitting

到现在为止，我们已经学习了几种不同的学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过拟合(over-fitting)的问题，可能会导致它们效果很差。 在这一节课中，我将为你解释什么是过度拟合问题，并且在此之后接下来的几节课中，我们将谈论一种称为正则化(regularization)的技术，它可以改善或者减少过度拟合问题 什么是过拟合呢？让我们继续使用用房价预测房价的例子，我们通过简历以房子面积为自变量的函数来预测房价

我们可以以一次函数来拟合这些数据，我们得到的预测函数是一条直线，但这不是一个很好的模型，通过数据我们看出，随着住房面积的增大，住房的价格逐渐稳定，或者说越往右越平缓，该算法没有很好的拟合训练集，我们把这个问题叫做欠拟合，或者说这个函数有高偏差。如果用二次函数来拟合数据集，我们可以看到能够比较好的拟合这些数据。但是你如果使用一个四次函数，你会发现过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给出一个新的值使之预测，它将预测表现的很差，产生过拟合的现象。高次函数虽然能非常好地适应我们的训练集但在新输入变量进行预测时可能会效果不好，而中间的二次函数模型似乎最合适。 分类问题中也存在这样的问题：这是一个以x1,x2为自变量的逻辑回归的例子，我们可以做的，就是用这么一个简单的假设模型，来拟合逻辑回归，和以前一样，我们用g来表示sigmoid function。第一幅图是一次函数，不能很好的拟合函数，是一个欠拟合函数；第二个使用的是二次函数，能够比较好的拟合数据；第三个函数过于强调拟合原始数据，无法很好的泛化到新样本中，就是过拟合。

就以多项式理解，? 的次数越高，拟合的越好，但相应的预测的能力就可能变差。 问题是，如果我们发现了过拟合问题，应该如何处理？ 1. 丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙(例如 PCA) 2.正则化。保留所有的特征，但是减少参数的大小(magnitude)。