神经网络各种评判指标

一. IOU

1. 什么是IOU（IntersecTIon over Union）

IOU是一种测量在特定数据集中检测相应物体准确度的一个标准。IOU是一个简单的测量标准，只要是在输出中得出一个预测范围（bounding boxex）的任务都可以用IOU来进行测量。IOU的全称为交并比（Intersection over Union），通过这个名称我们大概可以猜到 IOU的计算方法。IOU计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值。比值越高越接近准确范围。

二. 什么是准确率，精确率，召回率

1. 基本概念

TP（True Positive）：正样本预测答案正确
FP（False Positive ：错将负样本预测为正样本
FN（False Negative)：错将正样本标签预测为负样本
TN（True Negative) ：负样本预测答案正确

2. 准确率（Accuracy）

准确率的定义 是预测正确的结果数量¹占总样本数量的比值，其公式如下：
$$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$$

虽然准确率可以判断总的正确率，但是在样本不平衡的情况下，并不能作为很好的指标来衡量结果。
举个简单的例子，比如在一个总样本中，正样本占90%，负样本占10%，样本是严重不平衡的。对于这种情况，我们只需要将全部样本预测为正样本即可得到90%的高准确率。这就说明了：由于样本不平衡的问题，导致了得到的高准确率结果含有很大的水分。即如果样本不平衡，准确率就会失效。

正因为如此，也就衍生出了其它两种指标：精准率和召回率。

3. 精确率（Precision [查准率]）

精准率是针对预测结果而言的，它的含义是所有被预测为正的样本和实际为正的样本总样本数量的比值，即预测正确的正样本数量占所有预测结果数量的比值，其公式如下：
$$Precision=\frac{TP}{TP+FP}$$

而准确率则代表整体的预测准确程度，精准率代表对正样本结果中的预测准确程度。

4. 召回率（Recall [查全率]）

召回率它是针对原样本而言的，它的含义是在正所有的正样本中正确预测正样本的概率，即正确预测正样本数量和所有正样本的比值，其公式如下：
$$Recall=\frac{TP}{TP+FN}$$

召回率越高，检索出准确结果数量越多。

---

三. P-R曲线，F值

1. P-R(Precision-Recall)

PR曲线的横轴代表查全率，实际上就是真正率，纵轴代表查准率。为了找到一个最合适的IOU阈值满足我们的要求，我们就必须遍历0到1之间所有的阈值，而每个阈值下都对应着一对查准率和查全率，从而我们就得到了这条曲线。

如果一个学习器的P-R曲线被另一个学习器的P-R曲线完全包住，则可断言后者的性能优于前者。我们可以根据曲线下方的面积大小(AP)来进行比较，但更常用的是平衡点或者是F1值。F1值越大，我们可以认为该学习器的性能较好。

2. F值 （F-Score [F-measure[均衡平均数]]）

通常，我们希望准确率和召回率均越高越好，但事实上这两者在某些情况下是矛盾的。比如我们只搜出了一个结果，此结果是正确的，求得precisin等于1。但是由于只搜出一个结果，recall值反而很低，接近于0。所以为了综合查准率与查全率，我们引入了F-measure指标。其公式为：
$$F_{\beta }=(1+{\beta }^2)\ast \frac{Precision\ast Recall}{({\beta }^2\ast Precision)+Recall}$$

当β=1时，即为F1-Score,F1是精度和召回率的调和均值：
$$F_1=2\ast \frac{Precision\ast Recall}{Precision+Recall}$$

其中β>1，更加注重召回率；F<1,值更加重视准确率。

---

四. AP，mAP

1. AP（Average Precision）

AP是Precision-Recall Curve(PRC)下面的面积。绘制出平滑后的PR曲线后，用积分的方式计算平滑曲线下方的面积作为最终的AP值。

2. mAP（mean Average Precision）

通俗来说，就是给每一类分别计算AP，然后做mean平均。
mAP@.5: 即将IoU设为0.5时，计算每一类的所有图片的AP，然后所有类别求平均.
mAP@.5:.95 : 从0.5到0.95，步长0.05（0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95）上的平均mAP。

---

五. ROC，AUC

1. 真正率（TPR），假正率（FPR）

真正率 代表分类器预测的正类中实际正实例占所有正实例的比例。
$$TPR=\frac{TP}{TP+FN}$$

假正率 代表分类器预测的正类中实际负实例占所有负实例的比例。
$$FPR=\frac{FP}{FP+TN}$$

2. ROC（Receiver Operator Characteristic）曲线

被广泛应用于二分类问题中来评估分类器的可信度，ROC则是从这个角度出发来研究学习器泛化性能的有力工具。ROC曲线也需要相应的IOU阈值进行绘制，原理同上的PR曲线。
可以利用ＲＯＣ曲线对不同模型进行比较，如果一个模型的ＲＯＣ曲线被另一个模型的曲线完全包住，则可断言后者的性能由于前者

3. AUC(Area Under Curve)

即指曲线下面积占总方格的比例，ＲＯＣ曲线下方的面积（ＡＵＣ）可以用来作为评估模型模型性能的指标．如当两个模型的ＲＯＣ曲线发生交叉，则很难说哪一个模型更好，这时候可以用ＡＵＣ来作为一个比较合理的判据

AUC (Area under Curve)：ROC曲线下的面积，介于0.1和1之间，作为数值可以直观的评价分类器的好坏，值越大越好。
AUC = 1，是完美分类器，采用这个预测模型时，存在至少一个阈值能得出完美预测。绝大多数预测的场合，不存在完美分类器。
0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值

---

1. 正样本预测正确的结果，负样本预测正确的结果，即所有分类对应的正确结果数量 ↩︎