文章目录
浅谈图像检测中的评价指标有哪些
图像检测中常用的评价指标包括:
(1)准确率(Accuracy)
(2)精确率(precision)
(3)召回率(recall)
(4)F值(F1 Score)
(5)AP(Average Precision)
(6)mAP(mean Average Precison)
(7)IOU(Intersection Over Union)
(8)P-R曲线(Precision-Recall Curve)
细分(研究一下其含义与意义)
1、准确率(Accuracy)
概念
准确率是指模型对测试集标签的正确预测数占总数的比例。
通俗的说,准确率就是模型预测结果正确的样本数量占总样本数量的比例。
具体的,准确率的计算公式如下:
accuracy = TP + TN TP + TN + FP + FN \text{accuracy} = \frac{\text{TP} + \text{TN}}{\text{TP} + \text{TN} + \text{FP} + \text{FN}} accuracy=TP+TN+FP+FNTP+TN
其中,
TP(True Positive)表示模型将正样本预测为正样本的数量,
TN(True Negative)表示模型将负样本预测为负样本的数量,
FP(False Positive)表示模型将负样本预测为正样本的数量,
FN(False Negative)表示模型将正样本预测为负样本的数量。
需要注意的是,准确率计算基于测试集进行,因为训练集上的准确率不能反映模型的泛化能力。
同时,准确率也不能作为唯一的评价指标,因为模型在不同的数据集或应用场景下,准确率会有所不同,还需要总和考虑其他评价指标。
那么什么叫做正样本,什么叫做负样本呢?
其实这个问题在分类问题中很好理解,以一个二分类问题为例,假设要对人的性别进行分类,将性别分为男性和女性两类,可以将男性样本标记为正样本,女性样本标记为负样本。
这里假设一个数据集中包含了500个人的信息,其中300个是男性(正样本),200个是女性(负样本)。
在训练的时候,正负样本的数量应该尽量均衡,即训练集中男性和女性的数量比例应该接近实际比例,可以采用对半划分的方式来确保样本均衡。
在评价的时候,可以通过计算模型对测试集中正样本和负样本的分类准确率来衡量模型的性能。例如,模型在测试集上对正样本的分类准确率为90%,对负样本的分类准确率为80%,则说明在区分男性和女性方面的效果比较好。
下面举个例子,计算一下准确率:
假设我们已经训练好了一个性别分类器,在一个100个人的测试集上进行测试,其中男女各占50人。分类器对测试样本进行预测,结果有40个男性被正确识别,10个女性被错误识别为男性,45个女性被正确识别,5个男性被错误分类为女性。
那么我们可以得到如下信息:
(1)40个男性被正确识别(TP)
(2)10个女性被错误识别为男性(FP)
(3)45个女性被正确识别(TN)
(4)5个男性被错误分类为女性(FN)
那么准确率:
a c c = 40 + 45 40 + 10 + 45 + 5 = 0.85 acc = \frac{40 + 45}{40 + 10 + 45 + 5}=\text{0.85} acc=40+10+45+540+45=0.85
非常好理解
2、精确率(Precision)
在分类问题中,精确率(Precision)是指分类器所预测的正样本中,真实正样本的比例。
P r e c i s i o n = T P T P + F P Precision= \frac{TP}{TP+FP} Precision=TP+FPTP
依然是上面的例子,计算一下精确率:
根据给出的数据,男性被正确识别的数量(TP)为40,被错误分类为女性的数量为(FP)10,因此,男性的精确率为:
p r e = T P T P + F P = 40 40 + 10 = 0.8 pre = \frac{TP}{TP+FP} = \frac{40}{40+10}=0.8 pre=TP+FPTP=40+1040=0.8
也就是说,性别分类器在预测为男性的样本中预测正确的比例为80%。
3、召回率
在分类问题中,召回率(recall)是指分类器正确预测的正样本数量占所有真实正类的数量的比例,即:
r e c a l l = T P T P + F N recall= \frac{TP}{TP+FN} recall=TP+FNTP
召回率衡量的是分类器对于正样本的覆盖程度,也被陈我给查全率,它衡量分类器能够识别所有真实正类样本的能力。
因此,当我们需要寻找所有正类样本时,召回率是比较重要的一个指标,比如,为了尽可能发现所有患者,医生会倾向于使用高召回率的分类器进行癌症筛查。
依然是上面的例子,计算一下召回率:
在上面的例子中,真正的男性样本为40(TP),原本为男性,错检为女性的数量为5(FN)。
召回率为:
r e c a l l = 40 40 + 5 = 0.89 recall= \frac{40}{40+5}=0.89 reca