一. 评估方法
1.留出法
“留出法”直接将数据集D划分为两个互斥的集合,其中一个集合作为训练集S,另一个作为测试集T,在S上训练处模型后,用T来评估其测试误差,作为对泛化误差的估计。
2.交叉验证法
“交叉验证法”先将数据集D划分为k个大小相似的互斥子集,每个子集都尽可能保持数据分布的一致性,即从D中通过分层采样得到,然后每次用k-1个子集的并集作为训练集,余下的那个子集作为测试集;这样就可获得k组训练/测试集,从而可进行k次训练和测试,最终返回的是这k个测试结果的均值。
二. 性能度量
真实情况 | 预测结果正例 | 预测结果反例 |
---|---|---|
正例 | TP(真正例) | FN(反正例) |
反例 | FP(假正例) | TN(真反例) |