整体评估
检测评估
描述符评估
评价描述符 Descriptor 的可区分度,具体指在不同描述符距离阈值下的 Precision-Recall 曲线的 Area Under Curve (AUC),使用 NN 匹配策略。简单来说就是设置一个描述符距离阈值,两个描述符的距离小于该阈值认为二者是匹配上的,否则是非匹配上的,但小于该阈值的实际上有可能是匹配关系也有可能是非匹配关系。区分如下表:
匹配关系 | 非匹配关系 | |
---|---|---|
匹配上(小于阈值) | TP (true positive) | FP (false positive) |
未匹配上(大于等于阈值) | FN (false negative) | TN (true negative) |
所以:
T r u e P o s i t i v e R a t e = T P R = T P T P + F N T r u e N e g a t i v e R a t e = T N R = T N F P + T N F a l s e P o s i t i v e R a t e = F P R = F P F P + T N F a l s e N e g a t i v e R a t e = F N R = F N T P + F N TruePositiveRate = TPR = \frac{TP}{TP + FN} \\ TrueNegativeRate = TNR = \frac{TN}{FP + TN} \\ FalsePositiveRate = FPR = \frac{FP}{FP + TN} \\ FalseNegativeRate = FNR = \frac{FN}{TP + FN} TruePositiveRate=TPR=TP+FNTPTrueNegativeRate=TNR=FP+TNTNFalsePositiveRate=FPR=FP+TNFPFalseNegativeRate=FNR=TP+FNFN
还有:
P r e c i s i o n = T P T P + F P R e c a l l = T P T P + F N A c c u r a c y = T P + T N T P + T N + F P + F N Precision = \frac{TP}{TP + FP} \\ Recall = \frac{TP}{TP + FN} \\ Accuracy = \frac{TP + TN}{TP + TN + FP + FN} Precision=TP+FPTPRecall=TP+FNTPAccuracy=TP+TN+FP+FNTP+TN
那知道上面后,下面说明一下 ROC(receiver operating characteristic) 曲线和 PR 曲线:
- ROC 曲线是 TPR 为纵轴,FPR 为横轴,二者是正相关关系,是上升的曲线。
- PR 曲线是 Precision 为纵轴,Recall 为横轴,二者是负相关关系,是下降的曲线。
Area Under Curve (AUC) 就是这两个曲线下面积,面积越大效果越好。