分类方法的评价指标

首先明确TP,FN,TF,FP四个术语代表的含义（见混淆矩阵）
评价指标：

1. 正确率（accuracy）正确率是最常见的评价指标，accuracy = (TP+TN)/(P+N)，正确率是被分对类别的样本数在所有样本数中的占比，通常来说，正确率越高，分类器越好。
2. 错误率（error rate) 错误率则与正确率相反，描述被分类器错分的比例，error rate = (FP+FN)/(P+N)，对某 一个实例来说，分对与分错是互斥事件，所以accuracy =1 - error rate。
3. 灵敏度（sensitivity） sensitivity = TP/P，表示的是所有正例中被分对的比例，衡量了分类器对正例的识别能力。
4. 特异性（specificity) specificity = TN/N，表示的是所有负例中被分对的比例，衡量了分类器对负例的识别能 力。
5. 精度（precision） precision=TP/(TP+FP)，精度是精确性的度量，表示被分为正例的示例中实际为正例的比例。
6. 召回率（recall） 召回率是覆盖面的度量，度量有多个正例被分为正例，recall=TP/(TP+FN)=TP/P=sensitivity，可以看到召回率与灵敏度(sensitivity是一样的。
   精度(percision)和召回率(recall)反映了分类器分类性能的两个方面。精度（TP/TP+FP）代表查准率，召回率(TP/TP+FN)代表查全率。如果综合考虑查准率与查全率，可以用新的评价指标F1-score，也称为综合分类率。
7. 其他评价指标计算速度：
   分类器训练和预测需要的时间；
   鲁棒性：处理缺失值和异常值的能力；
   可扩展性：处理大数据集的能力；
   可解释性：分类器的预测标准的可理解性，像决策树产生的规则就是很容易理解的，而 神经网络的一堆参数就不好理解，我们只好把它看成一个黑盒子。
   8)ROC曲线 ROC曲线是（Receiver Operating Characteristic Curve，受试者工作特征曲
   线）的简称，是以灵敏度（真阳性率）为纵坐标，以1减去特异性（假阳性率）为横坐标绘制的性能评价曲线。ROC曲线越靠近左上角，说明其对应模型越可靠。也可以通过ROC曲线下面的面积（Area Under Curve, AUC）来评价模型，AUC越大，模型越可靠。
   9)PR曲线。是Precision Recall Curve的简称，描述的是precision和recall之间的关系，以recall为横坐标，precision为纵坐标绘制的曲线。该曲线的所对应的面积AUC实际上是目标检测中常用的评价指标平均精度（Average Precision, AP）。AP越高，说明模型性能越好。