机器学习--正则化（regularization)防止分类器过拟合

本文参考吴恩达《机器学习》课程。

要介绍正则化，先要介绍一下过拟合的概念。

1 过拟合（overfitting）

         拿线性回归中（房价-房子面积）为例，如下图，最左边那幅图中，我们用线性回归（一次函数，因为只有一个特征size）来进行拟合，可以看到拟合出来的线大致反应出房价的趋势，但是并没有很好的拟合，这种情况我们称之为欠拟合（underfitting）；为了更好的拟合，中间图我们用二次函数（即令x1=2, x2=x^2）来进行拟合，可以看到曲线很好的跟踪了样本点（样本点基本就在曲线的附近）；当我们用更高的阶来拟合样本点时，如最右边图所示，可以看到样本点很好的落在曲线上，但是显然的，这条曲线不是一条好的预测曲线，当再来一个新的样本点，我们进行预测时，这条曲线的预测能力会很差，因为它过分的去拟合了训练样本，从而不再适应于新的样本，我们称这种情况叫过拟合（overfitting）。同时，我们也会说这条曲线的泛化能力很差（一个从训练集得到的模型是否能够很好的泛化到新的样本上，称为这个模型的泛化能力）。通俗的理解过拟合：过分的拟合了训练样本，也就是说，模型不仅学习了样本的一般特性，还把样本的个体特殊特性也学习了，从而，当模型应用到新来的数据时，效果不是很好。