一文读懂分类算法的评价指标

    在机器/深度学习分类任务中，评价模型性能的指标有很多种，在本文中将详细简介一下各个指标的含义。

1、模型评价术语

    在本文中我们假设是二分类问题，即只分两类：正例（positive）和负例（negative）。那么，在实际预测中就会存在以下几种情况：

1. True positives(TP): 被正确地划分为正例的个数，即实际为正例且被预测为正例的实例数，这个在医学中称为真阳性；
2. False positives(FP): 被错误地划分为正例的个数，即实际为负例但被预测为正例的实例数，这个在医学中称为假阳性；
3. False negatives(FN):被错误地划分为负例的个数，即实际为正例但被预测为负例的实例数，这个在医学中称为假阴性；
4. True negatives(TN): 被正确地划分为负例的个数，即实际为负例且被预测为负例的实例数，这个在医学中称为真阴性。

2、主要指标

1）精度（precision）
    precision=TP/(TP+FP)，精度是精确性的度量，表示被分为正例的示例中实际为正例的比例。
2）召回率（recall）
    召回率是覆盖面的度量，度量有多个正例被分为正例，recall=TP/(TP+FN)=TP/P。
3）正确率（accuracy）
    正确率是我们最常见的评价指标，accuracy = (TP+TN)/(P+N)，正确率是被分对的样本数在所有样本数中的占比，通常来说，正确率越高，分类器越好。
4）错误率（error rate)
    错误率则与正确率相反，描述被分类器错分的比例，error rate = (FP+FN)/(P+N)，对某一个实例来说，分对与分错是互斥事件，所以accuracy =1 - error rate。
5）灵敏度（sensitivity）
    sensitivity = TP/P，表示的是所有正例中被分对的比例，衡量了分类器对正例的识别能力，其实灵敏度就是召回率，只是说法不同而已。
6）特异性（specificity)
    specificity = TN/N，表示的是所有负例中被分对的比例，衡量了分类器对负例的识别能力。

3、综合指标

    综合指标其实应用最多的有两个，一个是ROC曲线，一个是PR曲线。其中PR曲线在之前的文章中介绍过了，可点击此处查看。下面主要讲一下ROC曲线。
    ROC曲线是（Receiver Operating Characteristic Curve，受试者工作特征曲线）的简称，是以灵敏度为纵坐标，以1减去特异性为横坐标绘制的性能评价曲线。我们将其绘制在同一笛卡尔坐标系中，ROC曲线越靠近左上角，说明其对应模型越可靠。也可以通过ROC曲线下面的面积（Area Under Curve, AUC）来评价模型，AUC越大，模型越可靠。具体如下图所示：

    从上图可以看出，相对于A和C，B点的模型可靠性更可靠。在实际应用中，我应用最多的还是PR曲线，在保证精度的同时，召回率越大越好。