西瓜书复习：模型评估与选择

错误率：分类错误的样本数占样本总数的比例
误差：学习器的实际预测输出与样本的真实输处之间的差异，在训练集上的误差为训练误差或经验误差；在新样本上的误差称为泛化误差。

导致过拟合的最主要因素是学习能力过于强大。过拟合是无法避免的，我们所能做的只是缓解。

留出法：直接将数据集D划分为两个互斥的集合，训练集和测试集。需要注意的是，划分要尽可能保持数据分布的一致性，例如在分类任务中至少要保持样本的类别比例相似。保留类别比例的采样方式通常称为分层采样。单次使用留出法得到的估计结果往往不够稳定，在使用留出法，一定要采用若干次随机划分，重复实验取平均。

交叉验证法：将D划分为k个大小相似的互斥子集，每个子集尽可能保持数据分布的一致性，余下的子集作为测试集。若D包含m个样本，令k=m，得到交叉验证法的一个特例，留一法。留一法估计结果较准确，但是计算复杂度过高。

自助法：解决因训练样本规模不同导致的偏差。每次从D中随机选取一个样本，再把样本放回D中，使得下次采样可能还会采到该样本，重复采样m次，得到m个样本的数据集D‘。样本在m此采样始终不被采到的概率约为36%。这样D’用作训练集，D/D‘用作测试集。在数据集较小、难以有效划分训练/测试集时很有用。但是自助法产生的数据集改变了初始数据集的分布，会引入估计误差。

二分类任务可将样本根据其真实类别与学习器预测类别的组合划分为真正例、假正例、真反例、假反例。TP、FP、TN、FN分别表示。
分类结果的混淆矩阵为：

查准率P（precision)和查全率R(recall)分别定义为

分别表示预测的结果中真正例的比例和预测出的正例占所有正例的比例。
P和R是一对矛盾的度量。一般来说，P高时，R往往偏低。以P为纵轴，R为横轴，得到P-R曲线

若一个学习器的P-R曲线被另一个学习器的曲线完全包住，则可断言后者的性能高于前者。若发生交叉，则难以判断。也可通过比较曲线下的面积。平衡点是P=R时的取值，更常用的是F1度量，是基于R和P的调和平均


根据应用不同，对P和R的重视程度也不同，F1度量的一般形式：

β>1时R影响更大，β<1时P影响更大

我们得到多个二分类混淆矩阵用来估计算法的全局性能。一种直接的做法是先在每个混淆矩阵上分别计算出P和R，再取平均；另一种做法是先计算混淆矩阵的每个元素，TP、FP、TN、FN的平均值，再计算P、R、F1。

很多学习器为测试样本产生一个实值或概率，然后将预测值与一个分类阈值比较，大于阈值为正类，否则为反类。通常情况下，根据排序结果进行分类。排序本身的好坏，综合考虑了学习器在不同任务下的期望泛化性能。
ROC曲线纵轴是TPR，横轴是FPR


对角线对应于随机猜想，点（0,1）对应将所有正例排在所有反例之前的理想模型。ROC曲线下的面积，即为AUC。有时候不同错误造成的代价不同，RIC曲线不能反映学习器的期望总体代价，此时用代价曲线来描述。ROC曲线上每一点对应了代价平面上的一条曲线。