训练集验证集及测试集的选择

泛化能力，对未知数据的预测能力。
训练集：训练模型参数。
验证集：确定最优的模型超参，一些需要人工指定，不是通过数据学习而来的参数。
验证集：最终性能如何。
交叉验证算法的具体步骤如下：

1. 随机将训练数据等分成k份，S1, S2, …, Sk。

2. 对于每一个模型Mi，算法执行k次，每次选择一个Sj作为验证集，而其它作为训练集来训练模型Mi，把训练得到的模型在Sj上进行测试，这样一来，每次都会得到一个误差E，最后对k次得到的误差求平均，就可以得到模型Mi的泛化误差。