机器学习笔记-2.模型评估与选择之评估方法

学习内容

• 评估方法
• 评估指标
• 比较检验

一. 评估方法

理想：通过评估学习器的泛化误差，选出泛化误差最小的模型。

实际：泛化误差只能通过测试求得的测试误差来近似。

从总样本集 D 中产生训练集 S 和测试集 T，往往有以下三种常见方法：留出法、交叉验证法、自助法。

1. 留出法

【留出法】直接将数据集 D 划分为两个互斥的集合，即 D =S  T，S  T=Φ。

比如上图，红色部分为训练集，绿色部分为测试集，两部分互斥。 

注意
1. 训练 / 测试集的划分要尽可能保持数据分布的一致性。比如分层采样，保持样本类别的比例相似。