k-fold cross validation中的小问题

  交叉验证 (Cross validation)的基本思想：将原始数据集分组，一部分做为训练集 (training set)，另一部分做为验证集(validation set or test set)。首先用训练集对分类器进行训练，再利用验证集来测试训练得到的模型(model)，以此来做为评价分类器的性能指标。常用的交叉验证方法包括Holdout、k-fold、Leave-one-out以及Leave-p-out等。相对于其他方法，k-fold cross validation的优势在于，所有的样本都用于了训练和验证，且每个样本只被验证一次，因此具有更高的可信度。该法的步骤如下：     

(1) 将验证集S平均分割成K个子样本集，分别为S1、S2、Sk

(2) 将K-1个子样本集作为训练集，训练模型；然后，将剩余的一个子样本集Sj作为测试集，计算出误差

(3) 交叉验证重复K次，每个子样本集验证一次

(3) 根据计算的k个误差值，得到一个平均的误差值

  最近在使用的时候，一直有个疑问：k次训练会得到k个模型，也就是说每个模型的系数可能都不相同，那最终的模型是如何得到的呢？这个问题困扰了我很久。今天，通过阅读网上资料和matlab源码，解决这个问题，其实原理很简单。交叉验证只是一种模型验证方法，而不是一个模型优化方法，即用于评估一种模型在实际情况下的预测能力。比如，现在有若干个分类模型（决策树、SVM、KNN等），通过k-fold cross validation，可得到不同模型的误差值，进而选择最合适的模型，但是无法确定每个模型中的最优参数。