【学习笔记】模型评估

评估指标

准确率

准确率是指分类正确的样本占总样本个数的比例。
使用准确率作为评价指标的缺陷是，当不同类别的样本比例非常不均衡时，占比大的类别往往成为影响准确率的最主要因素。

召回率

召回率是覆盖面的度量，即真正正确的占所有实际为正的比例。$recall=\frac{TP}{TP+FN}$

P-R曲线

P-R曲线的横轴是召回率，纵轴是精确率。对于一个排序模型来说，其P-R曲线上的一个点代表着，在某一阈值下，模型将大于该阈值的结果判定为正样本，小于该阈值的结果判定为负样本。

F1 score

F1 score是精准率和召回率的调和平均值。$F1=\frac{2\ast precision\ast recall}{precision+recall}$

ROC曲线

ROC曲线（Receiver Operating Characteristic Curve）的横坐标为假阳性率，纵坐标为真阳性率。ROC曲线是反映敏感性和特异性连续变量的综合指标，ROC曲线上每个点反映着对同一信号刺激的感受性。真正的理想情况，TPR应接近1，FPR接近0，即图中的（0,1）点。ROC曲线越靠拢（0,1）点，越偏离45度对角线越好。

当正负样本的分布发生变化时，ROC曲线的形状能够基本保持不变，P-R曲线的形状一般会发生剧烈的变化。因此ROC曲线能够尽量降低不同测试集带来的干扰，更加客观地衡量模型本身的性能。

AUC

AUC指的是ROC曲线下的面积大小，该值能够量化地反映基于ROC曲线衡量出的模型性能。AUC越大，说明分类器越可能把真正的正样本排在前面，分类性能越好。

模型评估的方法

Holdout检验

将原始的样本集随机划分为训练集和验证集两部分。Holdout检验的缺点是在验证集上的评估指标和原始分组有很大关系。

交叉检验

• k-fold交叉检验：将全部样本划分为k个大小相等的样本子集；依次遍历这k个子集，每次把当前子集作为验证集，其余所有子集作为训练集，进行模型的训练和评估；最后把k次评估指标的平均值作为最终的评估指标。
• 留一检验：每次留下一个样本作为验证集，其余样本作为训练集。

自助法

对于总数为n的样本集合，进行n次有放回的随机抽样，得到大小为n的训练集。n次抽样中，有的样本会被重复抽样，将没有被抽出的样本作为验证集，进行模型验证。