首先明确TP,FN,TF,FP四个术语代表的含义(见混淆矩阵)
评价指标:
- 正确率(accuracy)正确率是最常见的评价指标,accuracy = (TP+TN)/(P+N),正确率是被分对类别的样本数在所有样本数中的占比,通常来说,正确率越高,分类器越好。
- 错误率(error rate) 错误率则与正确率相反,描述被分类器错分的比例,error rate = (FP+FN)/(P+N),对某 一个实例来说,分对与分错是互斥事件,所以accuracy =1 - error rate。
- 灵敏度(sensitivity) sensitivity = TP/P,表示的是所有正例中被分对的比例,衡量了分类器对正例的识别能力。
- 特异性(specificity) specificity = TN/N,表示的是所有负例中被分对的比例,衡量了分类器对负例的识别能 力。
- 精度(precision) precision=TP/(TP+FP),精度是精确性的度量,表示被分为正例的示例中实际为正例的比例。
- 召回率(recall) 召回率是覆盖面的度量,度量有多个正例被分为正例,recall=TP/(TP+FN)=TP/P=sensitivity,可以看到召回率与灵敏度(sensitivity是一样的。
精度(percision)和召回率(recall)反映了分类器分类性能的两个方面。精度(TP/TP+FP)代表查准率,召回率(TP/TP+FN)代表查全率。如果综合考虑查准率与查全率,可以用新的评价指标F1-score,也称为综合分类率。 - 其他评价指标计算速度:
分类器训练和预测需要的时间;
鲁棒性:处理缺失值和异常值的能力;
可扩展性:处理大数据集的能力;
可解释性:分类器的预测标准的可理解性,像决策树产生的规则就是很容易理解的,而 神经网络的一堆参数就不好理解,我们只好把它看成一个黑盒子。
8)ROC曲线 ROC曲线是(Receiver Operating Characteristic Curve,受试者工作特征曲
线)的简称,是以灵敏度(真阳性率)为纵坐标,以1减去特异性(假阳性率)为横坐标绘制的性能评价曲线。ROC曲线越靠近左上角,说明其对应模型越可靠。也可以通过ROC曲线下面的面积(Area Under Curve, AUC)来评价模型,AUC越大,模型越可靠。
9)PR曲线。是Precision Recall Curve的简称,描述的是precision和recall之间的关系,以recall为横坐标,precision为纵坐标绘制的曲线。该曲线的所对应的面积AUC实际上是目标检测中常用的评价指标平均精度(Average Precision, AP)。AP越高,说明模型性能越好。