西瓜书——第二章 模型评估与选择总结

一、经验误差与过拟合

（1）什么是错误率？什么是精度？它们之间有什么关系？
（2）什么是经验误差？什么是泛化误差？
（3）什么是过拟合？相对应的什么是欠拟合？
该如何去克服过拟合与欠拟合？

二、评估方法

对样本的数据集进行适当处理，从中产生出训练集S和测试集T。具体方法如下：
（1）留出法；
需要注意的几个问题：
i、训练/测试集的划分要尽可能保持数据分布的一致性。避免因数据划分过程引入额外的偏差而对最终结果产生影响。
ii、即便在给定训练/测试集的样本比例后。仍存在多种划分方式对初始训练集D进行划分。因此，单次使用留出法得到的估计结果往往不够稳定可靠，在使用留出法时，有一般要采用若干次随即划分，重复进行实验评估后取平均值作为留出法的评估结果。
（2）交叉验证法
与留出法相似，将数据集D划分为k个子集同样存在多种划分方式，为减少因样本划分不同而引入的差别，k折交叉验证通常要随机使用不同的划分重复p次，最终的评估结果是这p次 k折交叉验证结果的均值。
（3）自助法
自助法在训练集较小，难以有效划分训练/测试集时很有用，此外，自助法能从初始数据集中产生多个不同的训练集，这对集成学习等方式有很大的好处。

三、调参与最终模型

四、性能度量

性能度量分为预测任务和分类任务：

预测任务：
一般为“均方误差”

分类任务：
查准率（precision）、查全率（recall）、F1、
P-R曲线、

在n个二分类混淆矩阵上综合考虑查准率和查全率
方法1：
计算“宏查准率（macro-P）”、“宏查全率（macro-R）”、“宏F1（macro-F1）”
方法2：
计算“微查准率（micro-P）”、“微查全率（micro-R）”、“微F1（micro-F1）”

五、ROC与AUC

ROC曲线是研究学习器泛化性能的有利工具。

六、代价敏感错误率与代价曲线

（1）出现此问题的背景；
（2）如何去计算敏感代价的错误率；
（3）如何去画代价曲线？