学习内容
- 评估方法
- 评估指标
- 比较检验
一. 评估方法
理想:通过评估学习器的泛化误差,选出泛化误差最小的模型。
实际:泛化误差只能通过测试求得的测试误差来近似。
从总样本集 D 中产生训练集 S 和测试集 T,往往有以下三种常见方法:留出法、交叉验证法、自助法。
1. 留出法
【留出法】直接将数据集 D 划分为两个互斥的集合,即 D =S T,S
T=
Φ。
比如上图,红色部分为训练集,绿色部分为测试集,两部分互斥。
注意
1. 训练 / 测试集的划分要尽可能保持数据分布的一致性。比如分层采样,保持样本类别的比例相似。