评价指标:
1、rank-n: 搜索结果中最靠前(置信度最高)的n张图有正确结果的概率。
CMC曲线 :算一种top-k的击中概率,主要用来评估闭集中rank的正确率。
例如: lable为m1,在100个样本中搜索。
如果识别结果是m1、m2、m3、m4、m5……,则此时rank-1的正确率为100%;rank-2的正确率也为100%;rank-5的正确率也为100%;如果识别结果是m2、m1、m3、m4、m5……,则此时rank-1的正确率为0%;rank-2的正确率为100%;rank-5的正确率也为100%;如果识别结果是m2、m3、m4、m5、m1……,则此时rank-1的正确率为0%;rank-2的正确率为0%;rank-5的正确率为100%
当待识别的人脸集合有很多时,则采取取平均值的做法。
2、Recall:召回率 output为1中ground truth也为1的 占output为1的概率
Precision:准确率 output为1中ground truth也为1的 占ground truth为1的概率
F-score:recall和precision的调和平均数 2 * P * R / (P + R)
PR曲线: 所有样本的precision和recall绘制在图里
3、mAP : PR曲线下的面积
例如:query-id = 1,query-cam = 1,gallery共有5张图,按照下图方式计算出recall和precision,以recall为横坐标,precision为纵坐标,绘制PR曲线,曲线下方面积即为AP,当需要检索的不止一个人时,此时取所有人的平均mAP。。
曲线下方面积计算方法有多种,例如 ap = ap + (recall - old_recall)*((old_precision+precision)/2);
AP衡量的是学出来的模型在单个类别上的好坏,mAP衡量的是学出的模型在所有类别上的好坏
4、CMC
CMC曲线就是算一种top-k的击中概率。
对于single gallery shot来说,每一次query,对samples排序,找到匹配上id的gallery后,排除掉同一个camera下同一个id的sample,
5、ROC:
曲线上的每一点反映的是不同的阈值对应的FP(false positive)和TP(true positive)之间的关系。通常情况下,ROC曲线越靠近(0,1)坐标表示性能越好。
TP : True Positive 预测为1,实际也为1;TN:True Nagetive 预测为0,实际也为0
FP:False Positive 预测为1,实际为0的;FN:False Nagetive 预测为0,实际为1的
TPR=TP/(TP+FN)=Recall。
FPR=FP/(FP+TN),FPR即为实际为好人的人中,预测为坏人的人占比。
以FPR为x轴,TPR为y轴画图,就得到了ROC曲线。