F1-confidence曲线:
F1得分是一个综合了精确率(precision)和召回率(recall)的指标,其计算公式是2 * (精确率 * 召回率) / (精确率 + 召回率),值范围在0~1之间,取值越大则模型性能越好。可以通过观察曲线找出什么样的置信度阈值可以使F1得分取得最高值,也就是在这个置信度阈值下,模型的性能最优。
Precision-Confidence曲线:
在Precision-Confidence曲线中,X轴代表的是置信度阈值,Y轴代表的是该置信度阈值下的精确度。这个曲线可以帮助我们理解随着置信度阈值的改变,模型的精确度如何变化,进而帮助我们选择一个合适的置信度阈值来优化模型的表现。
混淆矩阵(Confusion Matrix),也称为误差矩阵
混淆矩阵一般具有四个部分:
-
True Positive(TP):正确预测为正类的样本数。也就是,这些样本是正类,模型预测为正类。
-
True Negative(TN):正确预测为负类的样本数。也就是,这些样本是负类,模型预测为负类。
-
False Positive(FP):错误地预测为正类的样本。也就是,这些样本实际上是负类,但模型误判为正类。
-
False Negative(FN):错误地预测为负类的样本。也就是,这些样本实际上是正类,但模型误判为负类。
通过这四个元素可以计算acc、recall、F1:
-
精确率(Precision): Precision 是正确预测为正的样本(TP)占预测为正的总样本(TP+FP)的比例。计算公式如下:
Precision = TP / (TP + FP)
-
召回率(Recall): Recall 是正确预测为正的样本(TP)占实际为正的总样本(TP+FN)的比例。也就是所有正类中预测对的那部分占比。计算公式如下:
Recall = TP / (TP + FN)
-
F1得分(F1 Score): F1 Score 是精确率和召回率的调和平均值,计算公式如下:
F1 = 2 * (Precision * Recall) / (Precision + Recall)
mAP50 :全称为 mean average precision at an Intersection over Union (IoU) threshold of 0.5,即在IoU阈值为0.5时的平均精度。
以下是它的基本定义和解释:
-
Intersection over Union (IoU):这是一个衡量预测的边界框(BoundingBox)和真实的边界框之间重合程度的指标。具体来说,IoU等于两个边界框的交集面积除以它们的并集面积。最大值是1,表示完全一致;最小值是0,表示完全不重叠。
-
mAP50:这个指标是在IoU阈值为0.5时的平均精度。也就是说,只有当预测的边界框和真实的边界框的重合程度IoU达到或超过0.5时,我们才将这个预测视为正确。mAP50提供了一个简单明确的标准,来评估模型对物体位置的预测准确性。
因此,可以把mAP50看作是评估模型在一定准确度下(IoU>=0.5)对物体位置预测准确性的一种方式。如果模型的mAP50值很高,那说明它在预测物体位置(边界框)的能力较强。
mAP50-95: 这是所有mAP值(在IoU阈值从0.5至0.95,步长为0.05,共计10个阈值)的平均数。这个指标要求模型在较高的IoU阈值下也能保持较好的性能,因此更全面地反映了模型的性能。如果一个模型的mAP50-95得分较高,那说明这个模型的性能较强,具有较高的准确性和鲁棒性。