本文介绍了评估分类器性能的几种常用方法：保持（holdout）方法，随机二次抽样，交叉验证和自助（bootstrap）法。保持法将数据分为训练集和验证集，但易受数据划分影响；随机二次抽样通过多次抽样提高性能估计，但可能导致数据使用不均衡；交叉验证如K折交叉验证确保每个数据均参与训练和检验，提高评估可靠性；自助法采用有放回抽样，结合.632规则评估模型性能。
目录
一、保持（holdout）方法
保持方法其实就是我们最经常用的，最普遍的方法。
将标记的数据分成两个不相交的集合，一部分作为训练集，一部分作为验证集。在数据集上训练我们的分类模型，在检验集上评估模型的性能。两个集合的划分比例通常根据专家判断，比如2：1，1：2等。
保持方法有众所周知的局限性：1、模型性能往往不如用全部被被标记的样本都用于训练来得好；2、模型高度依赖于训练集构成。训练集越小，模型方差越大；训练集太大，则验证集就少了，那么话估计出来的准确率不太可靠。3、训练集和检验集不是独立的关系，因为这两个子集来源于同一个数据集，在一个子集中超出比例的类在另一个子集就低于比例。
二、随机二次抽样
多次重复保持方法，以改进分类器性能的估计，即随机二次抽样（random subsampling）。
总准确率是每一次迭代模型的准确率的平均。
局限性：1、和保持方法一样ÿ
最低0.47元/天 解锁文章
扫一扫
6192
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
