评估分类器的性能：保持方法、交叉验证、自助法等

目录

一、保持（holdout）方法

二、随机二次抽样

三、交叉验证

四、自助（bootstrap）法

---

一、保持（holdout）方法

保持方法其实就是我们最经常用的，最普遍的方法。

将标记的数据分成两个不相交的集合，一部分作为训练集，一部分作为验证集。在数据集上训练我们的分类模型，在检验集上评估模型的性能。两个集合的划分比例通常根据专家判断，比如2：1，1：2等。

保持方法有众所周知的局限性：1、模型性能往往不如用全部被被标记的样本都用于训练来得好；2、模型高度依赖于训练集构成。训练集越小，模型方差越大；训练集太大，则验证集就少了，那么话估计出来的准确率不太可靠。3、训练集和检验集不是独立的关系，因为这两个子集来源于同一个数据集，在一个子集中超出比例的类在另一个子集就低于比例。

二、随机二次抽样

多次重复保持方法，以改进分类器性能的估计，即随机二次抽样（random subsampling）。

总准确率是每一次迭代模型的准确率的平均。

局限性：1、和保持方法一样ÿ