人脸识别评价算法指标
1、混淆矩阵
真阳性(True Positive,TP):指被分类器正确分类的正例数据
真阴性(True Negative,TN):指被分类器正确分类的负例数据
假阳性(False Positive,FP):被错误地标记为正例数据的负例数据
真阳性(False Negative,FN):被错误地标记为负例数据的正例数据
2、FAR/FRR/EER/TPR/FPR/TNR/FNR/ACC
误识率FAR false acceptance rate FAR=NFA/NIRA NIRA是类间测试次数(假冒者尝试的总次数),NFA是错误接收次数,FAR越低,假冒者被接受的可能性越低,系统安全性越高
误拒率FRR false rejection rate FRR=NFR/NGRA NGRA是类内测试次数(合法用户尝试的总次数),NFR是错误拒绝次数, FRR越低,合法用户被拒绝的可能性越低,系统的易用性越好
等错误率EER (EER-Equal Error Rate) :取一组0到1之间的等差数列,分别作为识别模型的判别界限,既坐标x轴,画出FFR和FAR的坐标图,交点就是EER值。
一般,FAR=0.001时,FRR的值作为参考。值越小,性能越好。
真正类率TPR true positive rate 将正例分对为正类的概率,也称Recall召回率 Recall = TPR = TP/(TP+FN)
假正类率FPR false positive rate 将负例错分为正类的概率 FPR = FP/(FP+TN)
真负类率TNR true negative rate TNR=TN/(TN+FP)
假负类率FNR false negative rate FNR=FN/(TP+FN)
准确率ACC Accuracy = (TP+TN)/(P+N) = (TP+TN) / (TP + FN + FP + TN)
精确度 Precision = TP/(TP+FP)
3、ROC曲线
ROC曲线(Receiver Operator characteristic Curve)是一种已经被广泛接受的系统匹配算法测试指标,它是匹配分数阈值、误识率以及拒识率之间的一种关系。
它反映了识别算法在不同阈值上,拒识率和误识率的平衡关系。
下图给出了ROC曲线,其中横坐标是拒识率,纵坐标是误识率,等错误率(EER Equal-Error Rate)是拒识率和误识率的一个平衡点,等错误率能够取到的值越低,表示算法的性能越好。
通常要求FAR,FRR尽可能的小,使系统具有高的识别性能。但对于一个系统,FAR和FRR是一对矛盾体,通过调节阈值使其中一项降低必然引起另一项升高。
所以需要根据实际来确定FAR或FRR,在强调安全性的场合,如金融领域,可调高阈值以保障误识率的要求;而对于一般民用系统,如公司考勤机,可降低阈值放宽误识率的要求。