准确率(Accuracy)= (预测正确的样本数)/(总样本数)=(TP+TN)/(TP+TN+FP+FN)
精度(Precision)= (被正确预测为正类的样本数)/(所有被预测为正类的样本数)=TP/(TP+FP)
在所有被判定为正类的样本中正类所占的概率。
召回率(Recall)= (被正确预测为正类的样本数)/(所有正类样本数)=TP/(TP+FN)
所以又叫查全率,在所有正类样本中被正确判定为正类的概率。
一般精度与召回率相互制约,一方增加另一方则减小。
map指标(Mean Average Precision):即平均精确度。综合衡量检测效果。绘出召回率-精度图,map表示曲线下方的面积。
值得注意的是:当要求对于正样本(TP)识别率增加时,一定也会把更多的负样本(FP)识别为正样本。(该过程相当于放宽了对于正样本的要求)。
ROC曲线:TP(或者FN)—FP曲线。
识图:横坐标为FP,即将负样本识别为正样本的概率,纵坐标为TP,即将正样本识别为正样本的概率,对于一个优秀的模型,我们希望FP小,TP大,因此图中LR对应的曲线最好。(注:之所以所有样本当FP趋近于1时,TP也趋近于1,是因为随着FP的增大代表着系统对于识别为正样本的要求降低,所以造成FP与TP都增加。)
AUC(Area Under Curve):即ROC曲线下方的面积,该值越大越好。
EER(Equal Error Rate):等错误率。在ROC图像中,由左上角到右下角画一条曲线与ROC曲线的交点处FP=FN,因为交点处的TP与FP满足TP+FP=1,而TP+FN=1恒成立,所以此时FP=FN。