机器学习数据挖掘——模型评估与选择2

在上一篇文章我介绍了评估模型的标准——泛化误差最小，以及浅谈了拟合不足与过拟合的问题（也是要结合训练误差和泛化误差来判断的）。

这篇文章将要介绍怎么进行分割数据集使得模型的构造能更有代表性也能使泛化误差的估计更准确。

在现实的数据挖掘任务中，我们针对不同的目的往往有很多不同的算法可供选择，能构造出不同的模型，甚至同一种算法的不同参数配置也会产生不同的模型，这就产生了很多问题，这些算法和模型可以任意选择吗？评估的标准是什么？模型只能选择一个吗，可不可以组合几个模型达到更佳的效果呢？

对于模型的选择，我们在上一篇文章也提到过可通过泛化误差最小化来选择，可是我们说过我们总是期望用于构建模型的数据集越大越好，数据集越大，构建出来的模型应用于总体的效果就越好（这与传统统计学中以样本估计总体是一样的道理，我们假设所采集的样本点是独立同分布且服从于总体分布也是为了是模型能拥有强泛化能力。），我们也不能单纯的就用用来训练模型的训练集来作为测试集估计泛化误差，这会使估计的泛化误差过于乐观，那么怎么进行训练集和测试集的分割呢？

我们这里介绍几种数据集的分割方法：

1.留出法（hold-out）：

直接将数据集D划分为两个互斥的集合。

留出法需要解决的问题：

（1）划分比例问题。需要保证训练集足够大（即保真性足够高），又不能让测试集太小（即对泛化误差的估计准确度足够高）；数据集的划分没有规定的比例，常见的做法是2/3—4/5用作训练集，其余用作测试集。

（2ÿ