一、基本思想
把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set),首先用训练集对分类器进行训练,在利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标.
二、主要方法
1. 留出法 (holdout cross validation)
2. k 折交叉验证(k-fold cross validation)记为K-CV
在{A2,A3,A4,A5,A6,A7,A8,A9,A10}基础上构建模型M1,并对数据集A1进行验证,将预测值与真值进行比较,在某一评价标准下,计算一个得分a1,1
.
在{A1,A3,A4,A5,A6,A7,A8,A9,A10}
基础上构建模型M1,并对数据集A2进行验证,将预测值与真值进行比较,在同一评价标准下,计算一个得分a1,2
.
……
在{A1,A2,A3,A4,A5,A6,A7,A8,A9}
基础上构建模型,并对数据