斯坦福大学机器学习——交叉验证(Cross Validation)

假设我们需要从某些候选模型中选择最适合某个学习问题的模型,我们该如何选择?以多元回归模型为例:,应该如何确定k的大小,使得该模型对解决相应的分类问题最为有效?如何在偏倚(bias)和方差(variance)之间寻求最佳的平衡点?更进一步,我们同样需要知道如何在加权回归模型中选择适当的波长参数,或者在基于范式的SVM模型中选择适当的参数C?

我们假设模型集合为有限集,我们的目的就是从这d个模型中,选择最有效的模型。

假设样本集为S,根据经验风险最小化原则(ERM),可能会使用这样的算法:

1.在S上训练每个模型,得到相应的假设函数

2.选择训练误差最小的假设函数,即为我们需要的函数。

然而,这样的算法实际上并不有效。以多元回归模型为例,指数越高,对样本集S的拟合就越准确,这样虽然保证了较低的训练误差,但是这种方法会使泛化误差变得很大,因此,这并不是一个好的方法。

简单交叉验证

下面介绍一种方法,称为简单交叉验证(simple cross validation)

随机将S分为(例如70%的样本)和(剩下30%的样本),这里称作简单交叉验证集;

1.在上训练每个模型,得到相应的假设函数
2.将每个假设函数通过交叉验证集进行验证,选择使得训练误差最小的

3.通过简单交叉验证,可以得到每个假设函数的真实的泛化误差,从而可以选择泛化误差最小的那个假设函数。

通常,预留1/4-1/3的样本作为交叉验证集,而剩下的作为训练集使用。

步骤3也可以替换成这样的操作:选择相应的模型,使得训练误差最小,然后在用对整个样本集S进行训练。使用这样的方法原因是有的学习算法对于初试的条件非常敏感,因此,他也许在上表现良好,但是在整个样本集中却存在很大的误差,因此需要再次带入整个样本集进行验证。

简单交叉验证的不足之处在于:此方法浪费了中的数据,即使我们将模型再次带入整个样本集,我们仍然只用了70%的样本建模。如果样本的采集非常的容易以致样本量非常之大,使用交叉验证方法没有什么问题;但如果样本非常稀缺,采集困难,那么我们就需要考虑一种能够充分利用样本的方法。

k-折交叉验证

k-折交叉验证将样本集随机划分为k份,k-1份作为训练集,1份作为验证集,依次轮换训练集和验证集k次,验证误差最小的模型为所求模型。具体方法如下:

1.随机将样本集S划分成k个不相交的子集,每个子集中样本数量为m/k个,这些子集分别记作

2.对于每个模型,进行如下操作:

for j=1 to k

作为训练集,训练模型,得到相应的假设函数

再将作为验证集,计算泛化误差

3.计算每个模型的平均泛化误差,选择泛化误差最小的模型

K-折交叉验证方法,每次留作验证的为总样本量的1/k(通常取k=10),因此每次用于训练的样本量相应增加了,然而K-折交叉验证对于每个模型都需要运行k次,他的计算成本还是较高的。
还有一种k-折交叉验证的极端形式,当k=m时,即把样本集S划分为m个子集,其中的m-1个样本作为训练集,剩下1个样本作为验证集,如此循环m次,选取验证误差最小的模型。
以上介绍的各种交叉验证的方法,可用于模型的选择,但也可以针对单个算法和模型进行评价。

小结:交叉验证是一种模型选择方法,其将样本的一部分用于训练,另一部分用于验证。因此不仅考虑了训练误差,同时也考虑了泛化误差。从这里可以看出机器学习、数据挖掘与传统统计学的一个重要差别:传统统计学更注重理论,追求理论的完整性和模型的精确性,在对样本建立某个特定模型后,用理论去对模型进行各种验证;而机器学习/数据挖掘则注重经验,如交叉验证,就是通过不同模型在同一样本上的误差表现好坏,来选择适合这一样本的模型,而不去纠结理论上是否严谨。

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭