【百问机器学习】11.模型评估都有哪些验证方法,各自优缺点都是什么?

问题难度(5分制):2
模型评估方法:
1.Holdout检验:
将原始集合按照7:3比例随机划分训练集和验证集;
7份用来训练模型,3份用来检验模型;
存在问题
验证集的验证结果依赖于原始分组。
2.交叉检验(留一验证):
为消除Holdout检验中的验证结果依赖原始分组问题而提出;
将原始数据分为K(通常K=10)个大小相同的组,遍历十个组,每一以当前一组作为验证集,剩下九组作为训练集。
流程结束后,将十次的结果做以平均为最后的检验结果;
存在问题:
在样本数量比较大的情况下,开销较大;

留一验证来源于留P验证,即每次留下K组中的P组样本进行验证,剩下的训练。由于开销过高,故而一般将P置1进行使用,变成留一验证;
3.自助检验:
自助检验的灵感来源于自助采样法。对于总数为N的样本集合,进行N次又放回的随机抽样,得到大小为N(由于有放回所以会出现重复数据)的训练集。将过程中未被选中的数据作为验证集进行模型验证评估。
优点:
前两种评估方法中都是基于训练集和验证机划分的方法进行评估,但对于样本规模比较小的情况时,这样的划分会让训练样本进一步变小,自助验证的有放回抽样解决了这个问题。

©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页