【目标检测评价指标】

参考资料：

• https://github.com/rafaelpadilla/Object-Detection-Metrics
• https://www.zhihu.com/question/53405779

1、正例和负例的定义

• TP(True Positives)，真阳性（真正例）：被正确预测为正例的数量， 即实际为正例且最终实际被预测为正例的数量；

• FP(False Positives)，假阳性（假正例）：被错误预测成正例的数量， 即实际为负例但最终被预测为正例的数量；

• TN(True Negative)， 真阴性（真负例）：被正确预测为负例的数量， 即实际为负例且最终被预测为负例的数量；

• FN(False Negative)， 假阴性（假负例）：被错误预测为负例的数量， 即实际为正例但最终被预测为负例的数量；

• P(Positives): 样本中的实际正例数量；

• N(Negatives): 样本中的实际负例数量；

• 样本总实例数 = P + N；

2、混淆矩阵(Confusion Matrix)

参考链接：

• 分类模型评判指标（一） - 混淆矩阵(Confusion Matrix)
• 机器学习笔记 - 使用scikit-learn创建混淆矩阵

• 混淆矩阵是ROC曲线绘制的基础，同时它也是衡量分类型模型准确度中最基本，最直观，计算最简单的方法。
• 一句话解释版本：混淆矩阵就是分别统计分类模型归错类，归对类的观测值个数，然后把结果放在一个表里展示出来。这个表就是混淆矩阵。
• 预测性分类模型，肯定是希望越准越好。那么，对应到混淆矩阵中，那肯定是希望TP与TN的数量大，而FP与FN的数量小。所以当我们得到了模型的混淆矩阵后，就需要去看有多少观测值在第二、四象限对应的位置，这里的数值越多越好；反之，在第一、三象限对应位置出现的观测值肯定是越少越好；

理解：

• 每一行的和表示预测为某一类的数量（all detections）; 以第一行为例，预测为猫的实例数为10+1+2 = 13， 这些预测值中实际是猫的数量为10， 实际为狗的数量为1， 实际为猪的数量为1， 也就是预测为猫的预测值中，真正例为10， 假正例为3；
• 每一列代的和表当前类在样本中的真实数量(假设没有漏检，有时将漏检的设置为背景类background，也就是多计算一类)，即对当前类而言，表示正样本数量P（Positives）,

• 正确率（Accuracy）AC：AC = (TP+ TN) / (P+ N)， 即预测正确的实例数量在样本总实例数中所占的比重；（这里的预测正确包括正确预测为正例和正确预测为负例）；

• 错误率（error rate）: (FP+ FN) / (P+N), 和正确率相对， 即预测错误的实例数量在样本总实例中所占的比例；（这里的预测错误也包括错误预测为正例和错误预测成负例）；错误率也就是：1- 正确率；

3、PR曲线

• 精确度（Precision）: Precision = TP / (TP+ FP), 即真正例在所有预测为正例中的占比；（预测的结果有对有错，precision就是在预测为正例的结果中，真正预测对的占比是多少）；

• 召回率（Recall）: Recall = TP/ (TP+ FN) = TP/ P, 即真正例在样本所有实际正例中的占比，也就是最终召回了多少正例；

• 精确度和召回率的区别：两者分子都是TP，即真正例，区别在于分母，若分母是所有预测为正例的数量，则是精确度Precision；若分母是样本中所有实际正例的数量，也就是P，样本中的正例数，则为召回率Recall;

• 精确度Precision又称查准率， 召回率Recall又称查全率；你不能同时增加精度并减少召回率，反之亦然。这称为精度/召回率权衡。两者通常结合使用。单一的用recall或者precision来评价分类器也是不合理的，譬如文章开头说到的那个简单的classifier；我们通过公式可以惊奇的发现在两个样本集上的recall都是100%，这是因为所有的iphone6样本，分类器都可以把它预测对，但是准确率就大不相同了；在第一个数据集上的准确率precision为0.6，但是第二个样本集上的准确率只有可怜的0.05；对于第二个样本集的结果，我可以说classifier很好，因为recall很高，也可以说classifier不好，因为precision很低。不过很明显，这些说法都是不合理的；综合考虑两种指标才是直观的比较可靠的指标。

4、F1 score

因此我们可以很方便地将精度和召回率组合成一个单一的指标，称为F1 分数。当你需要一个简单的方法来比较两种分类器时。F1 分数是精度和召回率的谐波平均值。谐波平均值会给予较低的值更高的权重。因此，只有当召回率和精度都很高时，分类器才能得到较高的F1 分数。