目录
人脸识别评价指标: TAR@FAR
TAR = 0.894300 @ FAR = 1e-05, current score = 0.42166013436445204
以下内容转自:https://blog.csdn.net/xiakejiang/article/details/121517530
以下解释大白话居多,公式较少,主要是为了理解原理,有不对的地方可以在评论区里讨论。
假设检索库1000张人脸,底库10000张人脸,top1正确的人脸有900张,错误的人脸有100张。
1. 先说一下我之前的统计人脸识别率的方式
输出一个top1的准确率为900/1000=90.00%。
2. 以上计算方式的问题
因为实际项目上需要一个阈值,而如步骤1的实验是给不出阈值的,而阈值T的给定又决定着在实际项目使用时候的识别率(通过率)和误识率。
3. 解释一下TAR@FAR这个概念
先看下面这个表格:
误识率 (FAR) 识别率 (TRA) 阈值 (thres)
1.00% 91.12% 76.90%
0.10% 86.50% 82.95%
0.01% 76.65% 86.95%
FAR: 错误接受的比例
TAR: 正确接受的比例
计算方式:根据FAR确定thres,再根据thres计算TAR
4. 计算TAR@FAR0.01
即在误识率1.00%的情况下,识别率的大小。
1)首先对以上top1错误的100张人脸相似度进行一个排序,例如相似度分布为1%、2%、......、99%、100%。那么要保证1.00%的误识别率,可以设置阈值thres为99.5%,这样100张top1错误的人脸中只有1张人脸大于该阈值,并发生误报。
2)上一步已经确定下来了阈值thres,现在拿该阈值对top1正确的900个人脸进行筛选,假设这900个人脸中,有800个人脸的top1的相似度大于99.5%的阈值,那么识别率(或通过率(或TAR))则为800/900=88.89%。
5. FAR越小,即要求误报率越低,那么对于的阈值就会越高,则识别率(或通过率)就会越低。
人脸识别常用的性能评价指标
一、什么是F1-score
F1分数(F1-score)是分类问题的一个衡量指标。一些多分类问题的机器学习竞赛,常常将F1-score作为最终测评的方法。它是精确率和召回率的调和平均数,最大为1,最小为0。
此外还有F2分数和F0.5分数。F1分数认为召回率和精确率同等重要,F2分数认为召回率的重要程度是精确率的2倍,而F0.5分数认为召回率的重要程度是精确率的一半。计算公式为:
G分数是另一种统一精确率和的召回率系统性能评估标准,G分数被定义为召回率和精确率的几何平均数。
参考链接:
1、https://blog.csdn.net/blueblood7/article/details/41823593
2、https://blog.csdn.net/lijiao1181491631/article/details/54407830?utm_source=blogxgwz0
3、https://blog.csdn.net/u014696921/article/details/74435229
1、混淆矩阵
预测 预测
正 负
实际 正 TP FN
实际 负 FP TN
TP:true positive,实际为正的,预测成正的个数
FN:false negative,实际为正的,预测成负的个数
FP:false positive,实际为负的,预测成正的个数
TN:true negative,实际为负的,预测成负的个数
2、TPR/FPR/TNR/FNR
即上面提到的TP/FN/FP/TN的比率
TPR:true positive rate,真正率,敏感性sensitivity,实际为正的,预测成正的比率
TPR=TPTP+FN TPR= \frac{TP}{TP+FN}
TPR=
TP+FN
TP
FNR:false negative rate,假负率,实际为正的,预测成负的比率
FNR=FNTP+FN FNR= \frac{FN}{TP+FN}
FNR=
TP+FN
FN
FPR:false positive rate,假正率,实际为负的,预测成正的比率
FPR=FPFP+TN FPR= \frac{FP}{FP+TN}
FPR=
FP+TN
FP
TNR:true negative rate,真负率,特异性specificity,实际为负的,预测成负的比率数
TNR=TNFP+TN TNR= \frac{TN}{FP+TN}
TNR=
FP+TN
TN
3、ROC/AUC
ROC曲线:受试者工作特征曲线:receiver operating characteritic curve,又称为感受性曲线(sensitivity curve),表示敏感性和特异性之间的相互关系。
横坐标为FPR,纵坐标为TPR,如下图所示,ROC曲线上的每一个点对应一个threshold,
其中,有三种极限状态:
TPR=0,FPR=0,这时threshold最大,将每个实例都预测为负类;
TPR=1,FPR=1,这时threshold最小,将每个实例都预测为正类;
TRP=1,FPR=0,理想模型,所有实例都预测准确。
一个好的分类模型,其曲线应该尽可能靠近上图的左上角。如果是随机猜测模型,则位于图中的主对角线上。
AUC:ROC曲线下方的面积,area under the ROC curve。另一种评价模型性能的方式,如果模型是完美的,则AUC=1,如果模型是随机猜测模型,则AUC=0.5,模型性能越好,则面积越大。
4、FAR/FRR/EER
人脸识别一般分为Indentification和Verification(人脸验证),当进行人脸验证时,一般考虑以下两个指标:
误识率(False Accept Rate,,FAR):将其他人误作指定人员的概率
拒识率(False Reject Rate,FRR):将指定人员误作其它人员的概率。
等错误率 (EER-Equal Error Rate) :取一组0到1之间的等差数列,分别作为识别模型的判别界限,既坐标x轴,画出FFR和FAR的坐标图,交点就是EER值。
FAR=NontargetIsTarget(TargetIsTarget+NontargetIsTarget) FAR = \frac{NontargetIsTarget } {( TargetIsTarget + NontargetIsTarget ) }
FAR=
(TargetIsTarget+NontargetIsTarget)
NontargetIsTarget
FRR=TargetIsNontarget(TargetIsNontarget+NontargetIsNontarget) FRR = \frac{TargetIsNontarget} {( TargetIsNontarget + NontargetIsNontarget ) }
FRR=
(TargetIsNontarget+NontargetIsNontarget)
TargetIsNontarget
一般,FAR=0.001时,FRR的值作为参考。值越小,性能越好。
计算机在判别时采用的阈值不同,这两个指标也不同。一般情况下,误识率FAR 随阈值的减小(放宽条件)而增大,拒识率FRR
随阈值的减小而减小。因此,可以采用等错误率(Equal Error Rate,
ERR)作为性能指标,即通过调节阈值,使这FAR和FRR两个指标相等时的FAR 或 FRR。
另一种关于FAR、FRR的解释如下:
5、FMR、FNMR
FMR:False match rate
FNMR:False non-match rate
FAR=FMR∗(1–FTA) FAR = FMR * (1 – FTA)
FAR=FMR∗(1–FTA)
FRR=FTA+FNMR∗(1–FTA) FRR = FTA + FNMR * (1 – FTA)
FRR=FTA+FNMR∗(1–FTA)
错误采集率 failure-to-acquire rate FTA: 在辨识或验证的尝试中,采集不到样本或样本质量无法达到要求的比例。
6、GFAR、GFRR
GFAR :广义误接受率,Generalized false accept rate
GFRR :广义误拒绝率,Generalized false reject rate
广义上的错误拒绝发生在:
测试对象没有注册
不能提取提交的样本
存在错误匹配
广义上的错误接受和错误拒绝率将由下述公式给出:
GFAR=FMR∗(1–FTA)∗(1–FTE)2 GFAR = FMR * (1 – FTA) * (1 – FTE)^2
GFAR=FMR∗(1–FTA)∗(1–FTE)
2
GFRR=FTE+(1–FTE)∗FTA+(1–FTE)∗(1–FTA)∗FNMR GFRR = FTE + (1 – FTE) * FTA + (1 – FTE) * (1 – FTA) * FNMR
GFRR=FTE+(1–FTE)∗FTA+(1–FTE)∗(1–FTA)∗FNMR
FTE:注册失败率 failure-to-enroll rate