本文章主要介绍平均精度(Average Precision, AP)、平均精度均值(mean Average Precision, mAP)、精确率(Precision)、召回率(Recall)以及二者的调和平均数F1作为深度学习卷积神经网络模型的性能评价指标。
平均精度(Average Precision, AP)
平均精度均值(mean Average Precision, mAP)
mAP 实质就是所有类别平均精度值的平均值,可细分为 mAP0.5 和 mAP0.5 : 0.95 两种情况,前者表示在 IOU 阈值设置为 0.5 时,所有类别的平均检测准确率,而后者表示在 IOU 阈值设置为 0.5到 0.95 区间,并以 0.05 为步长时的平均检测准确率作为各模型检测准确性的评估指标。
精确率(Precision)
精确率是指正确预测为正例的样本占所有被预测为正例的样本的比例。
召回率(Recall)
召回率是指正确预测为正例的样本占所有实际为正例的样本的比例。
调和平均数(F1)
另外,True Positive(TP)表示预测为正样本且实际为正样本的数量,False Positive(FP)表示预测为正样本但实际为负样本的数量,False Negative(FN)表示预测为负样本但实际为正样本的数量,True Negative(TN)表示预测为负样本且实际为负样本的数量。
在这里,正样本指定为特定类别的实例,而负样本则包括其他类别的实例和背景,本文采用一个混淆矩阵来解释 TP,FP,FN 和 TN。
混淆矩阵 | 预测情况 | ||
正例 | 反例 | ||
真实情况 | 正例 | TP(真正例) | FN(假反例) |
反例 | FP(假正例) | TN(真反例) |
以交通标志(正样本)和背景(负样本)为例,混淆矩阵的内容可以解释如下:
(1)TP:模型正确地将真正的交通标志预测为交通标志;
(2)TN:模型正确地将真正的营运公路背景预测为营运公路背景;
(3)FP:模型错误地将真正的营运公路背景预测为交通标志;
(4)FN:模型错误地将真正的交通标志预测为营运公路背景。