混淆矩阵
混淆矩阵包含四部分的信息:
- True negative(TN),称为真阴率,表明实际是负样本预测成负样本的样本数
- False negative(FN),称为假阴率,表明实际是正样本预测成负样本的样本数
- False positive(FP),称为假阳率,表明实际是负样本预测成正样本的样本数
- True positive(TP),称为真阳率,表明实际是正样本预测成正样本的样本数
ROC(receiver operating characteristic curve)
- F P R = F P F P + T N FPR = \frac{FP} {FP+TN} FPR=FP+TNFP
- T P R = T P T P + F N TPR = \frac{TP}{TP+FN} TPR=TP+FNTP
以FPR为横坐标,TPR为纵坐标,就可以得到下面的坐标系
选定不同的阈值会得到不同的FPR和TPR,当我们不断改变阈值,就会得到不同的FPR和TPR。然后我们将得到的(FPR , TPR)连接起来,就得到了ROC曲线.
AUC
AUC为ROC曲线下的面积,数值越大性能越好,最大为1.0,为完美的分类器,对应d-prime为无穷大;AUC最小为0.5,为完全瞎猜的分类器,对应d-prime为0.
mAP(mean average precision)
多个类别目标检测中,每个类别都可以根据recall(召回率)和percision(准确率)绘制一条曲线。AP就是该曲线下的面积,mAP意思是对每一类的AP再求平均。
- 召 回 率 ( r e c a l l ) = T P T P + F N = R 召回率(recall) =\frac{\mathbf{TP}}{\mathbf{TP}+\mathbf{FN}}=\mathbf{R} 召回率(recall)=TP+FNTP=R
- 准 确 率 ( p r e c i s i o n ) = T P T P + F P = P 准确率(precision)=\frac{\mathbf{TP}}{\mathbf{TP}+\mathbf{FP}}=\mathbf{P} 准确率(precision)=TP+FPTP=P
把recall当成横坐标,precision当成纵坐标,即可得到常用的precision-recall曲线。
具体例子