过拟合、正则化、泛化、归一化

1、什么是过拟合

过拟合现象：通常我们在分类任务过程中都会遇到过拟合这种现象，具体表现为，当我们增加训练集的数据时，测试集的分类效果反而降低，这种现象称为过拟合，或者叫过配。

过拟合的本质：是由于监督学习问题的不稳定，表现为三点

（1）、有限的训练数据不能完全反映出一个模型的好坏，然而我们不得不在这有限的数据集上挑选模型，因此我们完全有可能挑选到训练集上表现好而在测试集上表现很差的模型，也无法知道模型在测试集上的表现。

（2）、如果模型空间（也叫模型复杂度）足够，当我们有很多待选模型的时候，我们挑到和任务数据集对应最好的模型的概率就小得多了。

（3）、如果我们想训练集的效果表现很好，就需要挑选足够多的模型，否则模型空间很小，就很可能不存在能够拟合很好的模型。

2、正则化为什么能够防止过拟合

在机器学习中，数据中往往会存在噪声，当我们用模型去拟合带有噪声的数据时，往往将模型便得更加复杂而正则化和惩罚因子，目的是为了平衡模型复杂度和损失函数之间的关系，从而得到更优的测试结果。为了解释正则化，我准备引入一个公式来阐述正则化的概念。假设目标函数如：

, 为了让目标函数值最小。其中，r(d)可以理解为有d的参数进行约束，或者 D 向量有d个维度。

咱们可以令: f() =