交叉验证（cross-validation）

定义

cross-validation，即交叉验证。它常常用来进行模型选择。所谓的n-fold交叉验证，就是将训练数据等分为n份，每次训练的时候，只使用n-1份，余下的数据来对训练得到的参数进行评估。一般交叉验证都是为了选出一些自由参数的值(free parameters)，例如penalty的惩罚因子就属于自由参数。

形式化n-fold cross-validation

我们用$\Theta$来表示一组自由参数的向量。对于一个固定的值$\Theta$，交叉验证的过程如下：
1. 首先，随机将一个大小为m的 给定样本集S划分为n个子样本集，或成为n-fold。第i个样本集可以表示为(($x_{i1},y_{i1}$),…,( ximi,yi,