交叉验证（Cross validation)

交叉验证（Cross validation)

交叉验证用于防止模型过于复杂而引起的过拟合（作用）

如何交叉验证：

我这里主要介绍K交叉验证

1 将数据集分成K份

2 对于每一个模型（拿多项式回归举例， m=2为一个模型，m=3为一个模型。。。我们主要就是寻找最好的m）{也就是m每次取一个值的时候}

   for j=1,2,...,k

         将除第j份的所有数据作为训练集用于训练，得到训练参数。

         将训练参数在第j份数据上进行测试，得到测试错误E（j）；

3 经过第二步就得到了K个模型，和K个测试错误，将这K个错误求平均，就是该模型的estimated generalization error。

4  estimated generalization error最小的模型即为我们最优的模型，（例如发现m=3时平均错误最小 ）我们取这个模型再对所有数据进行训练，得到一个模型参数即为所求。

这样就避免了数据浪费，所有数据都有用于过训练。