目录
(1)PR曲线(Precision-Recall Curve)
(3)mAP(平均精度均值,Mean Average Precision)
一、交并比(IoU)与IoU阈值
评估模型预测正确与否的指标
1、交并比(IoU)的概念
IoU 的计算是通过将预测框(Predicted Box)与真实框(Ground - Truth Box)的交集面积除以它们的并集面积得到的。
(将于混淆矩阵部分详细阐释TP、FP、FN、TN的含义)
根据上图预测框(Predicted Box)的面积可以表示为。
真实框(Ground - Truth Box)的面积可以表示为。
预测框(Predicted Box)与真实框(Ground - Truth Box)的交集面积可以表示为。
预测框(Predicted Box)与真实框(Ground - Truth Box)的并集面积可以表示为。
故交并比(IoU)可以表示为。
2、IoU阈值
IoU 阈值是在使用交并比(IoU)评估模型性能时设定的一个临界值,用于判断预测结果与真实标注之间的匹配程度是否达到要求。
假设IoU阈值为0.5,则
若,便认为该预测是一个正确的检测或分割结果;
若,便认为该预测是一个错误的检测或分割结果。
在实际应用中,IoU 阈值的取值通常根据具体任务和需求来确定。常见的取值有 0.5、0.75 等。
在对检测精度要求越高的场景,可能会选择越高的阈值。
二、混淆矩阵(confusion_matrix)
描述模型预测情况的指标
真实正例 | 真实反例 | |
预测正例 | TP(True Positive,真正例) | FP(False Positive,假正例) |
预测反例 | FN(False Negative,假反例) | TN(True Negative,真反例) |
1、概念
混淆矩阵是一个二维矩阵,用于展示分类模型的预测结果与真实结果之间的关系。
预测值为正例,记为P(Positive)
预测值为反例,记为N(Negative)
预测值与真实值相同,记为T(True)
预测值与真实值相反,记为F(False)
TP(True Positive,真正例):表示实际为正样本,且模型也正确地将其预测为正样本的数量。
FP(False Positive,假正例):表示实际为负样本,但模型却错误地将其预测为正样本的数量。
FN(False Negative,假反例):表示实际为正样本,但模型却错误地将其预测为负样本的数量。
TN(True Negative,真反例):表示实际为负样本,且被模型也正确地预测为负样本的数量。
2、实际读法
矩阵的行表示真实类别,列表示预测类别
通过混淆矩阵,可以直观地看到模型在各个类别上的预测正确与否的情况,以及不同类别之间的混淆程度。
如下图为yolov11生成的指标图标图片:
则对于驼类(camelus)的TP、FN、FP值分别为778、51、228。
三、评估指标
评价模型性能的指标
1、准确率(Precision)
在模型预测为正例的样本中,真正为正例的样本所占的比例,即。
是用于评估模型性能的评价指标,取值范围为[0,1],准确率越高,模型的性能也就越好。
2、召回率(Recall)
在所有实际正例的样本中,能被正确检测出正例的比例,即。
是用于评估模型性能的评价指标,取值范围为[0,1],召回率越高,模型的性能也就越好。
3、F1 值
精确率(Precision)和召回率(Recall)的调和平均数,即。
是综合了准确率和召回率的评价指标,取值范围为[0,1],F1 值越高,模型的性能也就越好。
4、mAP
(1)PR曲线(Precision-Recall Curve)
以精确率(Precision)为纵轴、召回率(Recall)为横轴绘制出的曲线,用于直观地展示目标检测模型在不同阈值下精确率和召回率的变化关系
(2)AP(平均精度,Average Precision)
AP 是对 PR 曲线下面积的一种数值化表示,理想情况下,。
综合考虑了模型在不同召回率水平下的精确率表现,能够全面地反映模型在检测目标物体时的准确性,AP 值越高,说明模型在检测目标物体时的性能越好。
-
AP 值的计算通常采用 11 点插值法或积分法。11 点插值法是在召回率为0, 0.1, 0.2, ..., 1.0这 11 个点处计算精确率,然后取平均值作为 AP 值。积分法则是通过对 PR 曲线下的面积进行数值积分来计算 AP 值,更精确的计算公式为
,其中
是召回率为r时的精确率。实际计算中,通常使用数值积分方法来近似计算这个积分。
(3)mAP(平均精度均值,Mean Average Precision)
多个类别物体检测的平均精度(AP)平均后得到的数值,即。
用于综合衡量目标检测模型在不同类别物体上的检测准确, mAP 值越高,说明模型对各个类别的目标检测性能越好。
mAP@0.5(mAP50):在IoU阈值为0.5时的mAP值
mAP@.5:.95(mAP50-95):在不同IoU阈值(从0.5到0.95,步长0.05)(0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95)上的平均mAP
四、指标计算公式表
IoU(交并比) | |
Precision(精确率) | |
Recall(召回率) | |
F1值 | |
AP(平均精度) | |
mAP(平均精度均值) | |