2、模型选择与评估

错误率E=a/m
精度=1-错误率
将学习器的实际预测输出与样本的真实输出之间的差异称为“误差”
在训练集上的称为“训练误差”/“经验误差”
在新样本上的误差称为“泛化误差”
1、“过拟合”：把训练样本自身的特点当作所有潜在样本都会有的一般性质。
常见原因：学习能力过于强大
2、“欠拟合”：对训练样本的一般性质没有学好。
常见原因：学习能力不行
过拟合是无法彻底避免的 我们只能缓解，减小其风险。

理想的选择方案是对候选模型的泛化误差进行评估，选择泛化误差最小的模型.
但是我们无法直接获得泛化误差，而训练误差又由于过拟合现象存在而不适合作为标准.
现实中如何进行模型评估与选择？
“实验测试”“测试集”
用“测试误差”作为泛化误差的近似
测试集要尽可能和训练集相斥
对数据集D进行适当的处理，从中产生出训练集S和测试集T
几种处理的方法：
1、留出法（尽可能保持数据分布的一致性；若干次随机划分、重复进行实验评估取平均值）
大约2/3～4/5的样本用于训练，剩余样本用于测试.
2、交叉验证法（k折交叉验证 k常用的取值是10、5、20）多次重复划分
交叉法的特例：留一法
3、自助法
“调参与最终模型”
回归任务的性能度量“均方误差”
分类任务的性能度量：“错误率”“精度”
“查准率” “查全率” “F1”
“ROC”与“AUC”

“比较检验”