模型评估与选择

模型评估与选择

1**.错误率**：分类错误的样本占总样本的比例。
2.精度：1-错误率。　
3.误差：学习器的实际预测输出与样本的真实输出之间的差异。　
**“训练误差”/“经验误差”：**学习器在训练集上的误差。　　
“泛化误差”：学习器在新样本上的误差。　
　实际能做到是使经验误差最小化　　
4.“过拟合”：学习器把训练样本学的太好的时候，会将训练样本的特点当做所有潜在样本的一般性质，这样会导致泛化能力下降。（关键）　
5.“欠拟合”：学习器对训练样本的一般性质尚未学好。　　
有效的学习算法必将在有限的多项式时间里面运行完成，可减小过拟合，过拟合不可避免。（模型选择）
评估方法：
“测试集”：测试学习器对新样本的判别能力。
“训练集”：用来习得到较好的学习器。　
　训练集和测试集应当尽可能“互斥”。　　
6.“留出法”（hold out）：　　
将数据集D直接划分为两个互斥的集合，分别作为"训练集S"和"测试集T"，将从S中得到的模型用T来评估“测试误差”，作为“泛化误差”的估计。
注意：
1.训练/测试集的划分要尽可能的保持数据分布的一致性。　　
2.保留类别比例的采样方式通常为“分层采样”。　　
3.一般要采用若干