交叉验证（cross-validation）

定义

cross-validation，即交叉验证。它常常用来进行模型选择。所谓的n-fold交叉验证，就是将训练数据等分为n份，每次训练的时候，只使用n-1份，余下的数据来对训练得到的参数进行评估。一般交叉验证都是为了选出一些自由参数的值(free parameters)，例如penalty的惩罚因子就属于自由参数。

形式化n-fold cross-validation

我们用$\Theta$来表示一组自由参数的向量。对于一个固定的值$\Theta$，交叉验证的过程如下：
1. 首先，随机将一个大小为m的 给定样本集S划分为n个子样本集，或成为n-fold。第i个样本集可以表示为(($x_{i1},y_{i1}$),…,($x_{im_i},y_{i,m_i}$)) 大小为$m_i$.
2. 得到n-fold之后，对于任意的$i\in[1,n]$, 从中取出第i-fold，其余的用来进行训练，得到hypothesis $h_i$. $h_i$在ith-fold上面进行测试。如下图：

3. 参数$\Theta$的值是通过计算hypothesis $h_i$的平均错误得到的，这个平均错误被称为交叉验证误差(cross-validation error).可以用下式来进行表示：

$\hat R_{CV}(\Theta) = {1\over n}{\sum_{i=1}^{n}}{1\over m_i}{\sum_{j = 1}^{m_i}}{L(h_i(x_{ij}),y_{i,j})}$

n的选择

如果n的取值较小，模型会出现smaller variance, large bias. 即模型欠拟合。
如果n的取值较大，模型会出现large variance, small bias.即模型过拟合。
一般的机器学习中，n的取值为5或10.

交叉验证在机器学习训练中的作用

一般的机器学习问题，总是先将所用的数据分成两部分，即训练数据和测试数据。训练数据用来进行交叉验证，得到最优的参数。对应到上面就是，改变$\Theta$的值，利用交叉验证来选择$\Theta$的值。

怎么选择最佳的$\Theta$呢？通常是取使得$\hat R_{CV}(\Theta)$最小的那个$\Theta$.

选出$\Theta$后，这个算法就在取定的$\Theta$下面进行整体的训练。

整体的性能是依赖测试数据在选择的参数上的性能。